無偏性和 OLS 回歸
我理解我們說,如果一個估計量的期望值等於它所針對的總體參數(即,如果 $ \bar X _N $ 是大小樣本均值的估計量 $ N $ , 然後 $ E[\bar X_N ] = \mu $ )。
不過,我最近了解到,在OLS回歸模型下 $ y_i = b x_i + a + u_i $ , 我們說估計量 $ \hat a $ 和 $ \hat b $ 是公正的,如果 $ E[\hat a | X] = a $ 和 $ E[\hat b | X] = b $ .
我很難調和這兩個想法。第一段中的想法如何(即 $ E[\hat b] = b $ ) 等價於第二段中的想法(即 $ E[\hat b | X] = b $ )?
這個想法是 $ E[\hat{b}|X] $ 可能是 $ X $ . 例如,我們可能有一個估計器 $ E[\hat{b}|X] = b +f(X) $ . 這意味著我們的估計器僅對數據的繪製是無偏見的, $ X $ , 為此 $ f(X)=0 $ .
如果我們有那個 $ E[\hat{b}|X] $ 是同一個常數, $ b $ , 對所有人 $ X $ (數學上,如果 $ E[\hat{b}|X]=b $ 對所有人 $ X $ ),那麼無論數據的繪製如何, $ X $ ,我們的估計是無偏的。
我們也可以將其視為迭代期望定律的應用。
$ E[\hat{b}]= E[E[\hat{b}|X]] = E[b] = b $
它們不是等價的。線上性回歸模型(矩陣表示法)中, $$ y = X\beta + u, $$
OLS 估計器 $ \beta $ 是 $$ \hat \beta_{OLS} = \beta + (X’X)^{-1}X’u. $$
然後 $$ \mathbb E\left(\hat \beta_{OLS} \mid X\right) = \beta + (X’X)^{-1}X’\mathbb E\left(u \mid X\right). $$
在通常稱為“誤差項與回歸量的均值獨立”或“回歸量的嚴格外生性”的假設下, $$ E\left(u \mid X\right)=0, $$
我們得到
$$ \mathbb E\left(\hat \beta_{OLS} \mid X\right) = \beta $$
正如另一個答案指出的那樣,我們也可以通過迭代期望定律得到,
$$ \mathbb E\left(\hat \beta_{OLS} \right)= \mathbb E \Big[\mathbb E\left(\hat \beta_{OLS} \mid X\right)\Big] = \mathbb E(\beta) = \beta. $$
計量經濟學使用條件論證的原因是,對於觀察數據,回歸變數是隨機的。但是開發線性回歸和最小二乘法的原始框架是受控實驗,其中回歸量是“確定性的”,即它們的值由研究人員決定(因此有時仍使用“設計矩陣”這個名稱)。在那裡,不需要使用條件參數,因為由於是確定性的,回歸量不能/不能以分佈為特徵,具有矩等。
當我們以隨機變數為條件時,我們將其“視為”它是“固定的/確定的”。