行列を正定にする方法は？

次の因子分析モデルにEMアルゴリズムを実装しようとしています。

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

ここで、はp次元のランダムベクトル、は潜在変数のq次元ベクトル、はパラメーターのpxq行列です。 $W_j$ $a_j$ $B$

モデルに使用される他の仮定の結果として、私が知っている分散共分散行列誤差項のある、 = DIAG（、、...、）。 $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

EMアルゴリズムが機能するために、および行列の推定を含むドーム反復を行っています。これらの反復中に、および新しい推定を使用して、各反復で逆を計算しています。残念ながら、反復の過程では正定性を失います（ただし、これは分散共分散行列であるため、そうするべきではありません）。この状況は、アルゴリズムの収束を台無しにします。私の質問は： $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

この状況は、EMのすべてのステップで可能性が増加するはずなので、アルゴリズムに問題があることを示していますか？
行列を正定にする実際的な方法は何ですか？

編集：私は次のように述べている行列反転補題を使用して逆を計算しています：

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

ここで、右側は行列の逆行列のみを含みます。 $q\times q$

factor-analysis expectation-maximization

— アンディアモス
ソース

が正の明確さを「失う」方法をよりよく理解するのに役立つかもしれません。これは、または（またはその両方）のいずれかが非正定になることを意味します。これは、がから直接計算される場合は困難であり、が対角に正方形を持つ対角行列として計算される場合はさらに困難です。

B B^{'} + D

$BB'+D$

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

— whuber

@whuber通常はFAであるため、は正定ではありません。しかし、（理論的には）は、がすべてゼロより大きいと仮定して、あるはずです。

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

— JMS

：これは、この質問に関連しているstats.stackexchange.com/questions/6364/...

— ギリアド

@JMSありがとうございます。私のコメントはまだ適切だと思います：は不明確になる可能性がありますが、それでも負の固有値を持つべきではありません。、の最小値が反転アルゴリズムの数値誤差に相当する場合に問題が発生します。この場合、1つの解決策は、SVDをに適用し、本当に小さい（または負の）固有値をゼロにしてから、を再計算してを追加することです。

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

— whuber

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

$B$ $q$ $q<p$

$A^{-1}b$ $Ax=b$

$D$ $BB'$ $D$ $D$ $BB'+D$ $D$

$\sigma^2_i$ $D$

$BB'+D$

— JMS
ソース

第二に、アルゴリズムの主要部分では、実際に行列を反転させたくないということです。ただし、標準的な見積もりを取得するには、最後に必要になる場合があります。このブログ投稿をご覧ください。johndcook.com

— Samsdram

D行列の値は、反復回数が増えるにつれて小さくなります。あなたが指摘したように、これはおそらく問題です。

— Andy Amos

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$

— JMS