因子分析の最初の

主成分分析では、最初の $k$ 主成分は、分散が最大の $k$ 直交方向です。言い換えると、第1主成分は最大分散の方向になるように選択され、第2主成分は最大分散を持つ第1主成分に直交する方向になるように選択されます。

因子分析にも同様の解釈がありますか？たとえば、最初の要因は、元の相関行列の非対角成分を最もよく説明する要因であると考えています（たとえば、元の相関行列と、要因）。これは本当ですか（または、私たちが言える類似の何かがありますか）？ $k$

pca factor-analysis

— レグチン
ソース

@NRHが回答（+1）で書いたほぼすべてに同意しますが、最後の質問に対する簡単な答えは、はい、それは本当です。FAでは、PCAのように、直交するように因子を選択することもできます。違いは、相関行列全体（PCA）を再現する場合と、非対角部分（FA）のみを再現する場合のみです。長い議論のために私の答えを参照PCAと因子分析の類似性のための条件とPCAの代わりに、EFAを使用するために何か良い理由がありますか？

— アメーバは、モニカを復活させる14

理論的根拠がまさにこれである「MinRes」と呼ばれる回転/抽出基準があるため、本当にFAが「（平方の）二乗部分共分散を最小化する」かどうかはわかりません。それから、なぜそれに独特の名前を付けますか？おそらく、FA解を見つけるための標準ルーチンは、k因子の数が共分散を完全に再現する場合、数学的に同一の結果を取得します-しかし、kは推定値であるため、不完全/過小評価の場合、FA解はそうではない可能性があります MinRes-solutionと同じです。まあ、私は言う：かもしれない -私は明示的な声明を見たいです。

— ゴットフリードヘルムズ

回答:

PCAは主に、データの低次元空間への投影を取得することを目的としたデータ削減手法です。2つの同等の目的は、分散を繰り返し最大化するか、再構成エラーを最小化することです。これは実際にこの前の質問への答えのいくつかの詳細で解決されます。

対照的に、因子分析は主に生成モデルである次元データベクトルというここで、ある潜在因子の次元のベクトル、れると及びあります無相関エラーのベクトル。行列は行列である因子負荷。これにより、共分散行列の特別なパラメーター化がとして得られます。 $p$ $X$

X = A S + ϵ

$X = AS + \epsilon$

S

$S$

q

$q$

A

$A$

p \times k

$p \times k$

k < p

$k < p$

ϵ

$\epsilon$

A

$A$

Σ = A A^{T} + D

$\Sigma = AA^T + D$ このモデルの問題は、過剰パラメーター化されていることです。場合、同じモデルが得られ、

で置き換えられている

任意ため

の直交行列

の要素自体が一意ではないことを意味します。この問題を解決するためのさまざまな提案がありますが、あなたが求める解釈の種類の要因を提供する単一の解決策はありません。一般的な選択肢の1つは、バリマックス回転です。ただし、使用される基準は回転のみを決定します。

がまたがる列スペースは変化せず、これはパラメーター化の一部であるため、

推定に使用される方法によって決定されます。

A

$A$

A R

$AR$

k \times k

$k \times k$

R

$R$

A

$A$

Σ

$\Sigma$ -ガウスモデルの最尤法による。

したがって、質問に答えるために、選択された因子は因子分析モデルの使用から自動的に与えられないため、最初の因子の単一の解釈はありません。（の列スペース）の推定に使用する方法と回転の選択に使用する方法を指定する必要があります。もし（すべてのエラーが同じ分散を有する）の列空間のMLE溶液導くことによって張られる空間であり、、特異値分解により求めることができる主成分ベクトル、。もちろん、これらの主成分ベクトルを回転させずに因子として報告することもできます。 $k$ $A$ $D = \sigma^2 I$ $A$ $q$

$k$ $k$ $k$

— NRH
ソース

はい、私はk因子のユニークな選択がないことを理解しています（それらを回転させて同じモデルを取得できるため）。しかし、因子分析によって選択されたk個の因子の選択は、ある種の「相関の最大説明」を行いますか？

— -raegtin

@raegtin、答えを編集して、これが共分散行列のモデルであるという私の視点を説明しました。私が見るように、回転によって得られる要因の選択は、同じ共分散行列を生成するため、データの共分散を説明するのと同じくらい良いか悪いかです。

— NRH

更新をありがとう、これはFAの素晴らしい説明です！「モデルの目的は共分散を最もよく説明することです」と言うとき、k個の因子が説明された共分散の量を最大化するということですか？

— raegtin

@raegtin、はい、私はモデルを共分散行列のモデルと見なし、モデルを推定するとき、説明された共分散の量を最大化していると言ってもいいでしょう。

— -NRH

@raegtinおよびNRH（+1 btw）：明確にするため。「共分散」によって「共分散行列の非対角部分」を理解している場合、上記の2つのコメントは正しいです。

— アメーバは、モニカを復活させる14

@RAEGTIN、あなたは正しいと思うと信じています。抽出と前の回転の後、連続する各コンポーネントは分散の少ないと少ないのと同じように、共分散/相関の少ないと少ないを説明します：両方の場合、負荷行列Aの列は次の落下の順になりますそれらの2乗要素（負荷）の合計。読み込みは相関bw因子と変数です。したがって、1番目の要因はR行列の「全体」平方rの最大部分を説明し、2番目の要因はここでは2番目などと説明できます。ただし、負荷による相関の予測におけるFAとPCAの違いは次のとおりです。Rを復元するために「調整」されるm個の抽出された因子（m個の因子<p変数）のみで非常に細かく、PCAはm個のコンポーネントでそれを復元するのに失礼ですが、Rをエラーなしで復元するにはすべてのpコンポーネントが必要です。

PS追加するだけです。FAでは、負荷値はクリーンなコミュニティ（相関の原因となる分散の一部）で「構成」されますが、PCAでは負荷はコミュニティと変数の一意性の混合であるため、変動性を取り込みます。

— ttnphns
ソース