回歸

誤差正態性中的 Sigma 平方乘以單位矩陣

  • September 27, 2020

在 OLS 回歸中,我們有誤差項的正態性

$$ \varepsilon \sim N(0,\sigma^2I_n) $$

我知道我們希望同變異數誤差有一個恆定的變異數,但為什麼是 $ \sigma^2 $ 乘以單位矩陣 ( $ I_n $ )? 難道只是為了改造 $ \sigma^2 $ 從標量到矩陣?

這是簡潔地說以下內容的一種簡潔方式:

  1. 誤差是具有 n 個分量的多元正態隨機向量(在這種情況下,每個分量都是回歸模型中的一個觀察值)。也就是說: $$ \varepsilon = (\epsilon_1, \cdots, \epsilon_n) $$ 這裡每個 $ \epsilon_i $ 是一個隨機變數,取值 $ \mathbb{R} $ .
  2. 誤差具有恆定變異數 $ \sigma^2 $ 在每個分量/觀察中,因為分量的變異數對應於共變異數矩陣中每個點的對角線條目。也就是說: $$ \mathrm{var}(\epsilon_i) = \sigma^2 $$ 此外,錯誤的期望是 $ 0 $ .
  3. 誤差分量是不相關的/正交的,因為不同觀測值之間的共變異數/相關對應於共變異數矩陣中的非對角線條目——對於恆等式的倍數,它們都為 0。也就是說,有實數的矩陣: $$ \mathbb{E}[\epsilon \epsilon^T]_{i,j} = \mathrm{Cov}(\epsilon_i,\epsilon_j) = \begin{cases} = \sigma^2 & i = j \ 0 & i \neq j\end{cases} $$ 尤其是: $$ \mathrm{cov}(\epsilon_i,\epsilon_j) = \mathrm{corr}(\epsilon_i,\epsilon_j) = 0 $$ 為了 $ i \neq j $ , 然而: $$ \mathrm{cov}(\epsilon_i,\epsilon_i) = \mathrm{var}(\epsilon_i) = \sigma^2 $$ 因為誤差具有多元正態分佈(它們是一個向量的仿射變換,其分量是獨立的正態),它遵循 $ \epsilon_i $ 實際上獨立於 $ \epsilon_j $ (而不僅僅是不相關的)。

所有這一切 - 像這樣放置錯誤是總結 OLS 假設的一種簡潔的符號方式 - $ n $ 誤差項,都彼此不相關,並且都具有恆定的變異數。

引用自:https://quant.stackexchange.com/questions/58288