PCAとFAはどのような条件下で同様の結果をもたらしますか？

主成分分析（PCA）と因子分析（FA）が同様の結果をもたらすと期待できるのはどのような条件ですか？

pca factor-analysis

— 統計
ソース

ましょうも負荷の（ない固有ベクトル）（あなたはPCAにドロップするもの-最後の主成分変数の数で、あなたが抽出することを決めたコンポーネントまたは要素の数です）。場合はほぼ対角線である、そしてあなたのPCAの結果は、FAの結果に似ています。あなたが読んでためにいくつかの質問：stats.stackexchange.com/q/123063/3277、stats.stackexchange.com/q/94048/3277。

L

$\bf L$ p-mpm

L L^{'}

$\bf LL'$

— ttnphns 2014

言い換えると、PCAが、変数分析が定期的に行うのと同じくらい成功して、信号（共通因子）から変数固有のノイズを分離した場合。PCAは、FAとは異なり、この作業を行うことを意図していませんが、いくつかの条件下では、それを行うように見えることがよくあります。これらの条件のいくつか：1）p大きい。2）すべての変数のノイズが小さい。3）ノイズはすべての変数でほぼ同じです。

— ttnphns 2014

これはすばらしい質問ですが、残念ながら（または幸運なことに？）私は最近、関連するスレッドで非常に長い回答を書いて、質問にほぼ正確に対処しています。そちらをご覧いただき、ご質問の回答となるかどうかご確認ください。

非常に簡単に言えば、PCAとFAのローディングだけに注目すると、PCAがを見つけてサンプルの共分散（または相関）行列を可能な限り近く再構築するという違いがあります。に対して、FAはを見つけて、共分散（または相関）行列の非対角部分のみを再構築します：つまり、FAはの対角線値を気にせず、非対角部分のみを気にします。 $\mathbf W$ $\mathbf W$ $\mathbf C$

C \approx W W^{⊤},

$\mathbf C \approx \mathbf W \mathbf W^\top,$

W

$\mathbf W$

o f f d i a g {C} \approx W W^{⊤} .

$\mathrm{offdiag}\{\mathbf C\} \approx \mathbf W \mathbf W^\top.$

W W^{⊤}

$\mathbf W \mathbf W^\top$

これを念頭に置くと、質問に対する答えが見やすくなります。番号場合の変数（のサイズの）が大きく、その後の非対角部分ほぼ全体行列では（対角サイズ有し全体行列サイズの寄与ので、対角線は）に過ぎないため、PCAがFAを適切に近似することが期待できます。対角線の値がかなり小さい場合、PCAにはあまり影響を与えず、@ ttnphnsが前述したとおり、PCAはFAに近くなります。 $n$ $\mathbf C$ $\mathbf C$ $n$ $n^2$ $1/n \to 0$

一方、が小さいか、対角線によって支配されている場合（特に、対角線上に非常に異なる値がある場合）、PCAはを対角線を再現するようにバイアスする必要があります。そのため、FAとはかなり異なります。このスレッドで1つの例を示します。 $\mathbf C$ $\mathbf W$

この例でPCAとFactor Analysisが異なる結果を返すのはなぜですか？

— アメーバ
ソース

あなたの答えには、「最小化する」が因子分析の負荷をもたらすと述べています。（乗フロベニウスノルムと解釈します。）このステートメントの証明はどこにありますか？PCAの場合、これはEckart-Youngの定理に従いますが、これがFAにどのように適用されるかはわかりません。

| | C - W W^{T} - Ψ | |^{2}

$||C−WW^T−\Psi||^2$

| | ∙ | |^{2}

$||\bullet||^2$

— 2014

関連して、ttnphnsは、を最小化することは、を最小化することと同等であると主張しています。これはどのように表示できますか？

| | X - X_{k} | |^{2}

$||X−X_k||^2$

| | X^{T} X - X_{k}^{T} X_{k} | |^{2}

$||X^TX−X_k^TX_k||^2$

— 2014

あなたの最初の質問に。はい、それはフロベニウスの規範です。PCAとは異なり、FAは1つの正確に定義された方法というよりはフレームワークです。異なる「因子抽出方法」があり、結果が同一ではありません。したがって、もちろん、すべてのバージョンのFAを証明することはできません。ただし、最も古い/最も単純な/広範囲にわたる方法の1つは、このコスト関数を最小化することによってと直接見つけることです（ランダムに初期化し、PCAを介してを解き、収束するまで更新するなど）。これは「反復主要因子」法、またはそのようなsmthと呼ばれます。その後、証明するものは何も残っていません:)

W

$W$

Ψ

$\Psi$

Ψ

$\Psi$

W

$W$

Ψ

$\Psi$

— amoeba 14

次の質問へ。これが一般的に正しいかどうかはわかりませんが（おそらくそうかもしれませんが）、リンクされた回答では決して使用しません。私の「Update 2」を注意深く見てください。このステートメントは必要ありません。

— amoeba 14