規格偏差 - 估計變異數是誤差項真實變異數的有偏估計
考慮兩個模型 $ (a) y = X\beta + u $ 在哪裡 $ X $ 是 $ n \times K $ (b) $ y = Z\gamma + \omega $ 在哪裡 $ Z $ 是 $ n \times r $ . 在經典假設下（和 $ Z $ 和 $ X $ 是非隨機的）如果模型（a），即 $ y = X\beta + u $ 是真實模型，證明 $ E(\sigma^{2}_{\omega}) \geq \sigma^2_u $ 並解釋你的結果的含義。
我可以在兩種情況下做到 $ r>k $ （過擬合）或當 $ r<k $ （欠擬合）。
是否有任何簡短的方法可以做到這一點，沒有案例（因為過擬合和欠擬合變異數都是有偏差的）？所以，我要問的是，他們可以被打成棒狀，這樣結果就不會依賴於 $ r $ 和 $ k $ ?
從 a) 我們得到 $ y - \hat{y}_x = M_xy = M_xu $ 從 b) $ y - \hat{y}_z = M_zy = M_zX\beta + M_zu $ ， 在哪裡 $ M_x $ 和 $ M_z $ 是剩餘製造商矩陣（來自您連結的問題的公認答案的矩陣）和 $ \hat{y}_x $ 和 $ \hat{y}_z $ 是基於 who 線性模型的 y 的預測值。
變異數的估計是 $ s_x^2 = \frac{(y - \hat{y}_x)^T(y - \hat{y}_x)}{n-k} $ 對於第一個模型和 $ s_z^2 = \frac{(y - \hat{y}_z)^T(y - \hat{y}_z)}{n-r} $ 第二個。
因此 $ E(s_z^2) = \frac{E[(M_zX\beta + M_zu)^T(M_zX\beta + M_zu)]}{n-r} = \frac{1}{n-r}( E[(M_zX\beta)^T(M_zX\beta)] + E[(M_zX\beta)^T(M_zu)] + E[(M_zu)^T(M_zX\beta)] + E[(M_zu)^T(M_zu)]) = \frac{1}{n-r}( E[(M_zX\beta)^T(M_zX\beta)] + 2E[(M_zX\beta)^T(M_zu)] + E[(M_zu)^T(M_zu)]) = \frac{1}{n-r}( E[||M_zX\beta||_2^2] + 2E[\beta^TX^TM_zu] + E[(M_zu)^T(M_zu)]), $
作為 $ (M_zX\beta)^T(M_zu) = (M_zu)^T(M_zX\beta) = \beta^TX^TM_z^TM_zu = \beta^TX^TM_zu \hspace{.2cm} \in \mathbb{R}. $
因為 $ Z, X - $ 固定的 $ ||M_zX\beta||_2^2 $ 和 $ \beta^TX^TM_z $ 是常數。
因此$$ E(s_z^2) = \frac{1}{n-r}(||M_zX\beta||_2^2 + 2\beta^TX^TM_zE(u) + E(u^TM_zu)) = $$ $$ = \frac{||M_zX\beta||_2^2}{n-r} + 0 + \frac{E(u^TM_zu)}{n-r} = \frac{||M_zX\beta||_2^2}{n-r} + \sigma^2 \neq \sigma^2 \hspace{.2cm} in \hspace{.1cm}general. $$