OLS 估計推導：證明全域最小值的二階條件？
在推導我們的普通最小二乘估計時，我們可以部分區分平方誤差之和 $ \sum_{i=1}^{n} {e_i^2} = \sum_{i=1}^{n} {(Y_i- \hat{\alpha}-\hat{\beta}X_i )^2} $ 關於我們的估算器 $ \hat{\alpha} $ 和 $ \hat{\beta} $ 得到以下一階條件：
$$ \frac{\delta SSR}{\delta \hat{\alpha}}= -2\sum_{i=1}^{n} {e_i}=-2\sum_{i=1}^{n} {(Y_i- \hat{\alpha}-\hat{\beta}X_i)}=0 $$ $$ \frac{\delta SSR}{\delta \hat{\beta}}= -2\sum_{i=1}^{n} {X_i e_i}=-2\sum_{i=1}^{n} X_i {(Y_i- \hat{\alpha}-\hat{\beta}X_i)}=0 $$
那麼我們如何證明殘差平方和是全域最小值呢？
首先，我可以確認 Hessian 看起來像這樣嗎？
$$ \begin{array}{cc} 2n & 2\sum_{i=1}^{n}X_i \ 2\sum_{i=1}^{n}X_i & 2\sum_{i=1}^{n}(X_i)^2 \ \end{array} $$
其次，我怎樣才能證明這個Hessian的行列式是正定的，即 $ 4[n \sum_{i=1}^{n}(X_i)^2 - (\sum_{i=1}^{n}X_i)^2]>0? $ 該展示文稿與總體變異數公式有些相似，我知道變異數必須是非負的，但我想知道如何繼續。有沒有辦法分解這個？謝謝你。
看來你的工作是正確的。通過乘以括號，可以很容易地驗證 $ n\sum{X}_i^2 - (\sum{X}_i)^2 = n\sum{(X_i - \bar{X}})^2 $ 在哪裡 $ \bar{X} $ 是平均值。正如您自己所發現的，這基本上是變異數的標準表達式。由此可知 $ n\sum{X}_i^2 - (\sum{X}_i)^2 > 0 $ 前提是 $ X_i \neq \bar{X} $ 對於一些 $ i $ .
順便說一句，您還需要驗證二階導數之一是否為正（例如 $ SSR{_{\alpha\alpha}}>0 $ ) 直接來自您的 Hessian。
您得出的條件保證 $ (\hat{\alpha}, \hat{\beta}) $ 發生在 SSE 局部最小化的地方。由於我們的估計是唯一的，即有一個唯一的參數向量滿足我們的一階條件，我們知道所選的參數向量最小化了參數空間內部的目標函式。
要確定這是否是全域最小值，您可以將我們估計的 SSE 與邊界點進行比較。對於您所描述的簡單線性回歸，參數空間是 $ \mathbb{R}^2 $ ，因此是無界的，所以 $ (\hat{\alpha}, \hat{\beta}) $ 全域最小化 SSE。相反，例如，如果您有參數為非負的限制，則檢查邊界條件對於確定 SSE 的全域最小值很重要。