共分散行列が正定でないときに因子分析を行う方法は？

33の変数（列）によって記述される717の観測（行）で構成されるデータセットがあります。データは、すべての変数をzスコアリングすることによって標準化されます。2つの変数が線形従属ではありません（）。また、分散が非常に小さい（未満）すべての変数を削除しました。以下の図は、対応する相関行列（絶対値）を示しています。 $r=1$ $0.1$

factoranMatlabで次のように使用して因子分析を実行しようとすると：

[Loadings1,specVar1,T,stats] = factoran(Z2,1);

次のエラーが表示されます。

The data X must have a covariance matrix that is positive definite.

問題がどこにあるか教えていただけませんか？使用されている変数間の相互依存性が低いためですか？また、どうすればいいですか？

私の相関行列：

ここに画像の説明を入力してください

— ヴァセク
ソース

ここで問題となっているのは、相互依存性が低いこととは逆だと思います。おそらく、それらの間で線形に依存するいくつかの変数があり、これにより、共分散行列が半定値になります（つまり、固有値がゼロになります）。

— usεr11852

終了する質問に投票する人々へ：なぜサンプル共分散行列の正定性に関する質問がここで話題から外れるのですか？ユーザーは、因子分析の標準アプリケーションが機能しない理由を懸念しています。必要に応じて詳細情報を入手してください！

— usεr11852

サンプルの共分散行列の固有値を計算して提示できますか？（例eig(cov(Z2))）。それらのいくつかは非常に小さいと私は強く疑っています。

— usεr11852

私は@usεr11852に同意します：この質問はトピック外で誤って閉じられたようです（自分で閉じるように投票しました）。それはプログラミングの質問のように見えましたが、実際には完全にトピックについての合理的な質問です。私はそれを編集し、再び開くように投票しました。OPが消えてしまったようですが残念です。

— amoeba氏は、2015

この質問には、Matlabコミュニティが支援できない統計的な内容があるかもしれません。どのようにZ2行列を計算しますか？データに欠損値がある場合、行列の異なる相関がデータの異なるサブサンプルを使用して計算されると、ペアワイズ削除によって行列が反転不能になる可能性があります。

— StasK、2015年

回答:

$C$

C = Q D Q^{- 1},

$C = Q D Q^{-1},$

Q

$Q$

C

$C$

D = (\begin{matrix} λ_{1} & 0 & \dots & \dots & \dots & \dots & 0 \\ 0 & λ_{2} & ⋱ & ⋮ \\ ⋮ & ⋱ & ⋱ & ⋱ & ⋮ \\ ⋮ & ⋱ & λ_{n} & ⋱ & ⋮ \\ ⋮ & ⋱ & 0 & ⋱ & ⋮ \\ ⋮ & ⋱ & ⋱ & 0 \\ 0 & \dots & \dots & \dots & \dots & 0 & 0 \end{matrix})

$D = \begin{pmatrix}\lambda_1 & 0 & \cdots & \cdots &\cdots & \cdots& 0\\ 0 & \lambda_2 & \ddots & && &\vdots \\ \vdots & \ddots &\ddots & \ddots && &\vdots \\ \vdots & &\ddots &\lambda_n &\ddots &&\vdots \\ \vdots & & & \ddots &0 & \ddots& \vdots \\ \vdots & & & &\ddots & \ddots& 0\\ 0 & \cdots &\cdots & \cdots &\cdots & 0& 0\end{pmatrix}$

Q

$Q$

0

$0$

n

$n$

C

$C$

$0$

λ_{n + 1}, λ_{n + 2}, . . . = 10^{- 15} .

$\lambda_{n+1}, \lambda_{n+2},... = 10^{-15}.$

\tilde{C} = Q \tilde{D} Q^{- 1},

$\tilde{C} = Q \tilde{D} Q^{-1},$

\tilde{D} = (\begin{matrix} λ_{1} & 0 & \dots & \dots & \dots & \dots & 0 \\ 0 & λ_{2} & ⋱ & ⋮ \\ ⋮ & ⋱ & ⋱ & ⋱ & ⋮ \\ ⋮ & ⋱ & λ_{n} & ⋱ & ⋮ \\ ⋮ & ⋱ & 10^{- 15} & ⋱ & ⋮ \\ ⋮ & ⋱ & ⋱ & 0 \\ 0 & \dots & \dots & \dots & \dots & 0 & 10^{- 15} \end{matrix})

$\tilde{D} = \begin{pmatrix}\lambda_1 & 0 & \cdots & \cdots &\cdots & \cdots& 0\\ 0 & \lambda_2 & \ddots & && &\vdots \\ \vdots & \ddots &\ddots & \ddots && &\vdots \\ \vdots & &\ddots &\lambda_n &\ddots &&\vdots \\ \vdots & & & \ddots &10^{-15} & \ddots& \vdots \\ \vdots & & & &\ddots & \ddots& 0\\ 0 & \cdots &\cdots & \cdots &\cdots & 0& 10^{-15}\end{pmatrix}$

$Q,D$

[Q,D] = eig(C)

$\tilde{C}$

$C$ $\tilde{C}$

— ジョナス
ソース

マトリックスで数値の問題に直面している可能性があります。実際には正定である可能性がありますが、数値計算はそうではありません。

その場合の非常に一般的な解決策は、すべての対角要素に非常に低い値（たとえば、1.E-10）を追加することです。これで問題が解決しない場合は、この値を徐々に増やしてみてください。

— ロマン・ルブロー
ソース

斜めのエントリはすでにかなり支配的であるようです。これは役立つと思いますか？

— ジョナス

8番目と10番目のエントリが心配ですが、一部が線形依存している場合は、これら2つである必要があります。実際の固有分解計算についてはよくわかりませんが、この解決策はうまくいくと思います。対角線に1e-10を追加しても、線形依存性についてはあまり効果がありませんが、数値的に必要なものを追加するだけなので、固有値の計算は固定されています（つまり、0固有値はありません）。それでも、私のソリューションが機能しない場合、私はあなたのソリューションが非常にエレガントであることを見つけます。

— Romain Reboulleau

-2

FAはデータがガウスの場合に最もよく機能します。したがって、いくつかの前処理アプローチを試して、よりガウスのようなデータを取得することをお勧めします。

— ピクルリック
ソース

私はこの答えに戸惑います。非相関データのFAを実行する意味は何ですか？

— ttnphns 2018年

@ttnphns私はあなたが正しいと思います！非相関データにFAを適用しても意味がありません。私の提案は特定の種類のFAから来ています。PCAは、FAを適用するデータからベクトル表現を作成する前処理で適用されます。元のデータは通常、ベクトル表現に変換される前にPCAによって投影されます。また、FAはPCA投影データではなく、ベクトル表現に適用されます。悪い！回答を更新します。場合によっては、FAモデルが収束に失敗した場合、確率的PCAはFAと同じように機能する可能性があります。同意しない？

— PickleRick 2018年