PCAの後に回転（バリマックスなど）が続いているのはまだPCAですか？

私はRのSPSSから（PCAを使用して）いくつかの研究を再現しようとしました。私の経験では、パッケージからのprincipal() 関数はpsych、出力に一致する唯一の関数でした（または私の記憶が正しければ、完全に機能します）。SPSSと同じ結果を一致させるには、parameterを使用する必要がありましたprincipal(..., rotate = "varimax")。私は論文がPCAをどのようにしたかについて話しているのを見てきましたが、SPSSの出力と回転の使用に基づいて、それは因子分析のように聞こえます。

質問：PCAは、（を使用してvarimax）回転した後でもPCAですか？私はこれが実際に因子分析であるかもしれないという印象を受けていました...もしそうでない場合、どのような詳細が欠けていますか？

この質問は主にPCA / FAの定義に関するものであるため、意見が異なる場合があります。私の意見では、PCA + varimaxはPCAまたはFAと呼ばれるべきではなく、例えば「varimax-rotated PCA」と明示的に呼ばれます。

これは非常に紛らわしいトピックであることを付け加えておきます。この答えでは、私は回転が実際に何を説明したいです。これには数学が必要です。カジュアルな読者は、図に直接スキップできます。そうして初めて、PCA + rotationを「PCA」と呼ぶべきかどうかを議論できます。

参照の1つは、Jolliffeの著書「主成分分析」のセクション11.1「主成分の回転」ですが、より明確になる可能性があります。

---

ましょもN × Pの私たちが中心に想定したデータ行列。PCA量（ここでは私の答えを参照）特異値分解に：X = U S V ⊤。この分解には、2つの同等で補完的なビューがあります。PCAスタイルの「投影」ビューとFAスタイルの「潜在変数」ビューです。$\mathbf X$$n \times p$$\mathbf X=\mathbf{USV}^\top$

PCAスタイルのビューによると、直交方向束（これらは共分散行列の固有ベクトルであり、「主方向」または「軸」とも呼ばれます）、および「主成分」U S（主成分とも呼ばれます）スコア」）は、これらの方向に関するデータの投影です。：主成分は、我々は、書くことができるなど、最初のものは、最大の可能な分散を有し、無相関であるX = U S ⋅ V ⊤ = スコア⋅ 主方向$\mathbf V$$\mathbf{US}$

$$\mathbf X = \mathbf{US}\cdot \mathbf V^\top = \text{Scores} \cdot \text{Principal directions}.$$

FAスタイルの見解によれば、「負荷」を介して観測された変数を生じさせる、いくつかの相関のない単位分散「潜在因子」が見つかりました。確かに、は標準化された主成分（無相関および単位分散あり）であり、負荷をL=VS/$\widetilde{\mathbf U}=\sqrt{n-1}\mathbf{U}$場合、 X=$\mathbf L = \mathbf{VS}/\sqrt{n-1}$（つまり、注 S ⊤=のS。）両方のビューは等価です。負荷はそれぞれの固有値（S/ √でスケーリングされた固有ベクトルであることに注意してください

$$\mathbf X= \sqrt{n-1}\mathbf{U}\cdot (\mathbf{VS}/\sqrt{n-1})^\top =\widetilde{\mathbf U}\cdot \mathbf L^\top = \text{Standardized scores} \cdot \text{Loadings}.$$ $\mathbf{S}^\top=\mathbf{S}$は共分散行列の固有値です）。$\mathbf{S}/\sqrt{n-1}$

$\ne$

$k<p$

$$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_k \mathbf L^\top_k.$$ $k \times k$$\mathbf T$$\mathbf T\mathbf T^\top=\mathbf I$ $$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \mathbf U_k \mathbf T \mathbf T^\top \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_\mathrm{rot} \mathbf L^\top_\mathrm{rot},$$ $\mathbf L_\mathrm{rot} = \mathbf L_k \mathbf T$$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U}_k \mathbf T$$\mathbf T$$\mathbf L_\mathrm{rot}$ その解釈を容易にするために、できるだけまばらに近くなりました。）

回転されるのは、（1）標準化されたスコア、（2）負荷であることに注意してください。しかし、生のスコアでも主要な方向でもありません！したがって、回転は、元の空間ではなく、潜在的な空間で発生します。これは絶対に重要です。

$\mathbf L_\mathrm{rot}$$k$$\mathbb R^p$$k$$\mathbf X$

$$\boldsymbol \Sigma \approx \mathbf L_k\mathbf L_k^\top = \mathbf L_\mathrm{rot}\mathbf L_\mathrm{rot}^\top.$$

しかし、PCAスタイルの視点は事実上崩壊しています。回転荷重は、直交方向/軸に対応しなくなりました。つまり、列は直交しません！さらに悪いことに、回転した荷重によって与えられた方向にデータを[直交]投影すると、相関（！）投影が得られ、スコアを回復できなくなります。[代わりに、回転後に標準化されたスコアを計算するには、データ行列に負荷の擬似逆数を掛ける必要があります。または、回転マトリックスを使用して、元の標準化されたスコアを単純に回転させることもできます。$\mathbb R^p$$\mathbf L_\mathrm{rot}$$\widetilde{\mathbf U}_\mathrm{rot} = \mathbf X (\mathbf L_\mathrm{rot}^+)^\top$$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U} \mathbf T$ ]また、回転されたコンポーネントは最大分散量を連続的にキャプチャしません。ただし、すべての回転成分は、すべての元の主成分とまったく同じくらいの分散をキャプチャします。$k$$k$

これがイラストです。データは、主対角線に沿って引き伸ばされた2D楕円です。最初の主方向は主対角線であり、2番目の主方向はそれに直交します。PCAローディングベクトル（固有値でスケーリングされた固有ベクトル）は赤で表示されます-両方の方向を指しており、可視性のために一定の係数で引き伸ばされています。次に、負荷に直交回転を適用しました。結果のローディングベクトルはマゼンタで表示されます。それらが直交していないことに注意してください（！）。$30^\circ$

ここでのFAスタイルの直観は次のとおりです。ポイントが小さな円を埋める「潜在空間」を想像してください（単位分散のある2Dガウスから来る）。これらのポイントの分布は、PCAの負荷（赤）に沿って引き伸ばされ、この図に表示されるデータ楕円になります。ただし、同じポイントの分布を回転させ、回転したPCAの負荷（マゼンタ）に沿って引き伸ばして同じデータ楕円にすることができます。

実際には、[ 参照負荷の直交回転があると回転は、1はPCAのバイプロットを見てする必要があります。が元の変数に対応するベクトル/光線は単に回転します。】

---

まとめましょう。直交回転（バリマックスなど）の後、「回転主」軸は直交せず、それらの直交投影は意味をなしません。したがって、この軸/投影の視点全体をやめる必要があります。まだPCAと呼ぶのは奇妙です（これは、最大分散などの投影に関するものです）。

FAスタイルの観点からは、単純に（標準化された無相関の）潜在的要因を回転させました。これは有効な操作です。FAには「投影」はありません。代わりに、潜在因子が負荷を介して観測変数を生成します。このロジックは引き続き保持されます。ただし、実際には要因ではない主成分から始めました（PCAはFAと同じではないため）。したがって、FAと呼ぶのも奇妙です。

PCAとFAのどちらを呼び出すべきかを議論する代わりに、使用する手順を厳密に指定することをお勧めします。「PCAに続いてバリマックス回転」。

---

あとがき。がと間に挿入される、代替の回転手順を考慮することができます。これにより、（標準化されたスコアと負荷の代わりに）生のスコアと固有ベクトルが回転します。このアプローチの最大の問題は、そのような「ローテーション」の後、スコアがもはや無相関にならないことであり、これはPCAにとって非常に致命的です。一つはできるそれを行うが、それは回転が通常理解して適用されている方法ではありません。$\mathbf{TT}^\top$$\mathbf{US}$$\mathbf V^\top$

主成分分析（PCA）と共通因子分析（CFA）は別個の方法です。多くの場合、同様の結果が生成され、PCSSはSPSS Factor Analysisルーチンのデフォルトの抽出方法として使用されます。これは間違いなく、両者の区別について多くの混乱をもたらします。

要するに、これらは概念的には2つの異なるモデルです。PCAでは、コンポーネントは合計分散を最大化する実際の直交線形結合です。FAでは、因子は分散の共有部分を最大化する線形結合であり、「潜在的な構成要素」の根底にあります。これが、FAがしばしば「共通因子分析」と呼ばれる理由です。FAはさまざまな最適化ルーチンを使用し、結果は、PCAとは異なり、使用される最適化ルーチンとそれらのルーチンの開始点に依存します。単純に唯一の解決策はありません。

Rでは、factanal（）関数はCFAに最尤抽出を提供します。したがって、PCA抽出に基づくSPSS結果を再現することを期待しないでください。単に同じモデルやロジックではありません。同じアルゴリズムを使用していない可能性があるため、SPSSの最尤抽出を使用した場合に同じ結果が得られるかどうかはわかりません。

ただし、Rの良し悪しにかかわらず、SPSSがデフォルトとして提供する混同された「因子分析」を再現できます。Rのプロセスを次に示します。このコードを使用すると、このデータセットを使用してSPSS主成分の「因子分析」の結果を再現できます。（符号は例外で、これは不定です）。その結果は、Rsで利用可能な任意の回転メソッドを使用して回転させることもできます。

# Load the base dataset attitude to work with.
data(attitude)
# Compute eigenvalues and eigen vectors of the correlation matrix.
pfa.eigen<-eigen(cor(attitude))
# Print and note that eigen values are those produced by SPSS.
# Also note that SPSS will extract 2 components as eigen values > 1 = 2
pfa.eigen$values
# set a value for the number of factors (for clarity)
factors<-2
# Extract and transform two components.
pfa.eigen$vectors [ , 1:factors ]  %*% 
+ diag ( sqrt (pfa.eigen$values [ 1:factors ] ),factors,factors )

この回答は、@ amoebaがこのスレッドに関する深い（ただしやや複雑な）回答で推論したもの（95％が同意しているようなもの）とそれらがどのように見えるかをパスチャート形式で提示することです。 。

適切で最小の形式のPCAは、相関データの非相関形式への特定の直交回転であり、主成分は順次変動して全体的な変動性がますます少なくなります。次元の削減だけが必要な場合は、通常、負荷およびそれらの後に引き続くものは計算しません。（生の）主成分スコア満足しています。[チャートの表記は@amoebaの表記に正確に従っていないことに注意してください。他の回答のいくつかで採用していることに固執しています。]$\bf P$

チャートでは、2つの変数の簡単な例を取り上げ、p=2抽出された両方の主成分を使用しています。私たちは通常、わずか数最初保つもののm<pコンポーネントを、私たちは考えている理論的な質問のために（「PCAは、回転PCAまたは何をか？」）を保持する場合、それは違いはありませんmか、すべてのpそれらの。少なくとも私の特定の答えでは。

負荷のトリックは、スケール（大きさ、変動性、慣性）をコンポーネント（生のスコア）から係数（固有ベクトル）に、前者をそのままの「フレームワーク」（標準化されたpr 。コンポーネントスコア）および後者は肉質の（負荷）です。両方を使用して、データを等しく復元します。しかし、積荷は見通しを開きます：（i）コンポーネントを解釈します。（ii）回転する; （iii）変数の相関/共分散を復元します。これはすべて、データのばらつきが負荷として書き込まれているという事実によるものです。V P z A X = P V ′ = P z A $\bf L$$\bf V$$\bf P_z$$\bf A$$\bf X=PV'=P_zA'$

そして、その負荷をいつでも、または回転後にデータポイントに戻すことができます。バリマックスなどの直交回転を考えると、回転が行われた後もコンポーネントが無相関のままになることを意味します。球面共分散行列を使用したデータのみが直交して回転した場合、無相関性が保持されます。そして、標準化された主成分（機械学習では「PCAデータ」と呼ばれることが多い）であるは、マジックデータ（は実際には左、つまりデータの行固有ベクトル）に比例します。バリマックス回転行列を探していますP z$\bf P_z$$\bf P_z$$\bf Q$負荷の解釈を容易にするために、データポイントは、それらの貞な球形と同一性（または「白さ」）で受動的に待機します。

が見つかった後、それによる回転は、荷重行列の一般化された逆行列を介した標準化された主成分スコアの通常の計算と同等です-今回は回転荷重の（グラフを参照してください） ）。その結果、バリマックス回転さ主成分、：我々はそれを望んでいた、プラスデータは回転前のようにうまくそれらによって復元されるように、相関していない。私たちは、その後で、そのスケール堆積（およびそれに応じて回転）、それらをバック与える可能性があり -それらをunstandardizeする：。P z A r C z X = P z A ′ = C z A ′ r A r$\bf Q$$\bf P_z$$\bf A_r$$\bf C_z$$\bf X=P_zA'=C_zA_r'$$\bf A_r$$\bf C$

私たちは、「バリマックス回転さ主成分は」ではないことを、認識しておく必要があり校長、私はそれを強調するために、表記のCz、C、代わりの装甲、Pを使用：コンポーネントはもう。それらは単なる「コンポーネント」です。主成分は一意ですが、コンポーネントは多数存在する場合があります。varimax以外の回転は、変数に加えて、コンポーネントとも呼ばれ、相関関係のない他の新しい変数を生成します。$\bf C$

また、言うまでもなく、バリマックス回転（または直交回転）した主成分（現在は単に「成分」）は、相関がなく、直交のままですが、それらの負荷がまだ直交であることを意味しません。列は（固有ベクトル）相互に直交していますが、列ではありません（ここの脚注も参照）。V A $\bf A$$\bf V$$\bf A_r$

そして最後に- 生の主成分を回転させることは有用なアクションではありません。問題のある意味を持つ相関変数を取得します。は、すべてのスケールを吸収した負荷の構成を（特定の方法で）最適化するように見えました。は、すべてのスケールが残っているデータポイントを回転するようにトレーニングされたことはありません。回転と回転に相当するであろう固有ベクトルと内（$\bf P$$\bf Q$Q Q P Q V Q V r " C " = X V $\bf "C"$$\bf Q$$\bf Q$$\bf P$$\bf Q$ $\bf V$$\bf Q$$\bf V_r$）そして、生のコンポーネントスコアをとして計算します。これらの「パス」は、Postscriptumで@amoebaによって示されています。$\bf "C"=XV_r$

最後に概説されたこれらのアクション（ほとんどの部分は無意味）は、一般に、負荷だけでなく固有ベクトルも回転できることを思い出させます。たとえば、Varimaxプロシージャを適用して、構造を単純化することができます。しかし、固有ベクトルは負荷の場合ほどコンポーネントの意味を解釈するのに役立ちませんので、固有ベクトルの回転はめったに行われません。

したがって、その後のバリマックス（または他の）回転を伴うPCAは

• まだPCA
• 途中で放棄された主成分のみのコンポーネント
• 「潜在的な特性」として解釈される可能性のある（PCよりも）
• しかし、それらとして統計的にモデル化されていません（PCAは公正な因子分析ではありません）

この回答では、因子分析について言及していません。@amoebaの「潜在空間」という言葉の使用は、質問された質問の文脈では少し危険であるように思えます。ただし、PCA +分析回転は「PCAのFA スタイルビュー」と呼ばれる可能性があることに同意します。

ではpsych::principal()、あなたが使用して抽出された主成分（S）または「」パソコン「」に回転/変換の異なる種類を行うことができますrotate=ように、引数を： "none"、"varimax"（デフォルト）、 、"quatimax"、"promax"、"oblimin"、"simplimax"と"cluster"。必要に応じて、あなた自身の評価と調査対象の主題の知識に応じて、あなたのケースでどちらが意味をなすべきかを経験的に決定する必要があります。あなたにヒントを与えてくれるかもしれない重要な質問：どちらがより解釈可能か（もし必要なら）？

ヘルプでは、次の情報も役立つ場合があります。

回転した主成分は主成分（固有値分解に関連する軸）ではなく、単なる成分であることを認識することが重要です。これを指摘するために、回転していない主成分にはPCiのラベルが付けられ、回転したPCにはRCi（回転成分の場合）、斜めに変換された成分はTCi（変換成分の場合）としてラベル付けされます。（この提案をしてくれたUlrike Grompingに感謝します。）

私の理解では、PCAと因子分析の違いは主にエラー用語があるかどうかです。したがって、PCAはデータを忠実に表現できますが、因子分析はトレーニング対象のデータには忠実ではありませんが、データの基礎となる傾向やコミュニティ性を表現しようとします。標準的なアプローチでは、PCAはローテーションされませんが、数学的にローテーションを行うことは可能なため、人々は時々ローテーションを行います。これらのメソッドの「意味」はつかむのがやや多いという点でコメンターに同意します。たとえば、使用している関数が意図したとおりに動作することを確認するのが賢明です。たとえば、R SPSSのユーザーが使い慣れているPCAとは異なる種類のPCA。

両方の定義の混のおかげで、それらは事実上同義語です。言葉を信じないで、ドックを深く見て方程式を見つけてください。

この質問にはすでに受け入れられた答えがありますが、質問のポイントに何かを追加したいと思います。

「PCA」-正しく思い出せば-「主成分分析」を意味します。そのため、回転なしでも回転ありでも、主成分を分析している限り、「適切な初期行列分解で見つかった」「主成分」の分析を行っています。

最初の2つの主成分の「バリマックス」回転の後、「最初の2つのPCのバリマックス解」（または他の何か）があるが、それでも主成分分析のフレームワークにあることを定式化します。以下は「pca」のフレームワーク内にあります。

私の主張をより明確にするために：回転の単純な質問がEFAとCFAを区別する問題を導入するとは感じません（後者は、たとえばBrettの回答で問題に言及/導入されました）

これが最も役立つことがわかりました：Abdi＆Williams、2010、主成分分析。

回転

コンポーネントの数が決定された後、解釈を容易にするために、分析はしばしば保持されたコンポーネントの回転を伴います[詳細については、参考文献40および67を参照]。2つの主なタイプの回転が使用されます。新しい軸が互いに直交する場合は直交、新しい軸が直交する必要がない場合は斜めです。回転は常に部分空間で実行されるため、新しい軸は常に、元のコンポーネント（最適になるように計算される）よりも少ない慣性を説明します。ただし、回転後の合計部分空間で説明される慣性の部分は、回転前と同じです（慣性のパーティションのみが変更されています）。回転は常にサブスペースで行われるため（つまり、保持されたコンポーネントの空間）、この部分空間の選択は、回転の結果に強く影響します。そのため、回転の解釈の堅牢性を評価するために、保持されたコンポーネントの部分空間に対していくつかのサイズを試すことを強くお勧めします。回転を実行するとき、ローディングという用語はほとんどの場合、行列Qの要素を指します。

（Qの定義については論文を参照）。