用於條件高斯模型的 EM
讓
$$ X_1\sim N(\mu_{X_1},\sigma_{X_2}^2) $$ $$ X_2\sim N(\mu_{X_2}, \sigma_{X_2}^2) $$ 在哪裡 $ \mu_{X_2}=c+aX_1 $ . 另外，我有數據 $ D $ （缺少值 $ X_1,X_2 $ ). 如何更新/估計參數 $ \mu_{X_1},\sigma_{X_1},\mu_{X_2},a,c,\sigma_{X_2} $ 使用 EM？即更新的公式是什麼 $ \sigma_{X_2} $ ?
我的模型是條件高斯，它是二元高斯的條件形式 $ (X_1,X_2) $ 具有平均向量 $ (\mu_1,\mu_2)^\top $ 和共變異數矩陣
$$ \left( \begin{matrix} \Sigma _{11} & \Sigma _{12} \ \Sigma _{21} & \Sigma _{22} \ \end{matrix} \right) $$ 這是將二元高斯轉換為條件高斯的參考：
$$ \mu_{2|1}=\mu_{2}+\Sigma_{21}\Sigma_{11}^{-1}(X_1-\mu_1)\quad,\quad \Sigma_{22|1}=\Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12} $$這產生了我的模型。 好像當 $ X_1 $ 有不同的觀察和 $ X_2 $ 未觀察到，變異數為 $ X_2 $ 保持不變。那麼如何更新 $ \sigma_{x_2} $ ? 我需要估計共變異數矩陣嗎？
模型的初始設置
$$ X_1\sim N(5,7)\quad,\quad X_2\sim N(0.5X_1,8) $$ 數據：
$$ X_1:\operatorname{9,,4,,NA} $$ $$ \quad X_2:\operatorname{NA,,NA,,3} $$
什麼時候 $ X_1 $ 未觀察到，在迭代中 $ k=1 $ EM，後驗平均值（當 $ X_2=3 $ ） 是 $ 5.18 $ 通過使用推理算法，即連接樹/卡爾曼濾波器。那麼充分的統計量為 $ X_1 $ 是：
$ s_1=\Sigma_{i=1}^nx_{i1}=9+4+5.18 $ 和 $ s_{11}=\Sigma_{i=1}^nx_{i1}^2=9^2+4^2+(5.18^2+\sigma_{11.2}) $
在哪裡 $ \sigma_{11.2} $ 是後驗條件變異數 $ X_1 $ 給定 $ X_2 $ ， 什麼時候 $ X_1 $ 未被觀察到。
$ s_2=\Sigma_{i=1}^nx_{i2} $ 和 $ s_{22}=\Sigma_{i=1}^nx_{i2}^2 $ . 什麼時候 $ X_2 $ 是未觀察到的一個術語 $ \sigma_{22.1} $ 也被添加到 $ x_{i2}^2 $ .
所以參數 $ \mu_{X_1} $ 和 $ \sigma_{X_1} $ 獲得。同樣，未觀察到的後驗均值 $ X_2 $ 也是通過使用 ie Junction tree inference 得到的。
充分的統計數據 $ s_{12}=\Sigma_{i=1}^nx_{i1}x_{i2} $ ， 和 $ s_{21}=\Sigma_{i=1}^nx_{i2}x_{i1} $ .
平均向量是： $ \mu^{(k)}=(s_1/n, s_2/n) $ .
共變異數矩陣為： $ \Sigma^{(k)}= $ $ \left( \begin{matrix} \Sigma {11} & \Sigma {12} \ \Sigma {21} & \Sigma {22} \ \end{matrix} \right) $ $ = $ $ \left( \begin{matrix} s{11}/n-(s_1/n)^2 & s{21}/n-(s_2/n)(s_1/n) \ s{12}/n-(s_1/n)(s_2/n) & s{22}/n-(s_2/n)^2 \ \end{matrix} \right) $ $ $
得到問題中的其他參數。條件均值和條件變異數 $ X_2|X_1 $ 由問題參考中的公式計算得出。我已經用 Matlab 驗證了這些公式，結果是正確的。