相関または共分散に関するPCA：相関に関するPCAは意味をなしますか？[閉まっている]

主成分分析（PCA）では、共分散行列または相関行列のいずれかを選択して、（それぞれの固有ベクトルから）成分を見つけることができます。両方の行列間の固有ベクトルが等しくないため、これらは異なる結果（PCの負荷とスコア）を与えます。私の理解では、これは生データベクトルとその標準化が直交変換を介して関連付けられないという事実によって引き起こされるということです。数学的には、類似した行列（つまり、直交変換によって関連付けられた行列）は同じ固有値を持ちますが、必ずしも同じ固有ベクトルを持つとは限りません。$X$$Z$

これは私の心にいくつかの困難を引き起こします：

1. PCAは、同じ開始データセットに対して2つの異なる答えを得ることができ、両方とも同じことを達成しようとする場合（=最大分散の方向を見つける）、実際に意味がありますか？

2. 相関行列アプローチを使用する場合、PCを計算する前に、各変数は独自の標準偏差によって標準化（スケーリング）されます。それでは、データが事前に異なる方法でスケーリング/圧縮されている場合、最大分散の方向を見つけることは依然としてどのように意味がありますか？相関ベースのPCAは非常に便利です（標準化された変数は無次元なので、線形結合を追加できます。他の利点も実用性に基づいています）が正しいのでしょうか。

（変数の分散が大きく異なる場合でも）共分散ベースのPCAのみが真に正しいものであり、このバージョンを使用できない場合は、相関ベースのPCAも使用すべきではないようです。

私はこのスレッドがあることを知っています：相関または共分散のPCA？-しかし、それは実用的な解決策を見つけることにのみ焦点を当てているようです。

あなたの2つの質問に対するこれらの回答があなたの懸念を鎮めることを願っています：

1. 相関行列は、標準化された（つまり、中心にあるだけでなく、再スケーリングされた）データの共分散行列です。である、の共分散行列（IFなど）別の、異なるデータセット。したがって、それは自然であり、結果が異なることを気にするべきではありません。
2. はい、標準化されたデータを使用して最大分散の方向を見つけることは理にかなっています。つまり、元の変数の不等分散の影響後、多変量データクラウドの形状が取り除かれました。

@whuberによって追加された次のテキストと画像（私は彼に感謝します。また、下の私のコメントを参照してください）

これが、標準化されたデータの主軸（右図参照）を見つけることが依然として理にかなっている2次元の例です。右側のプロットでは、座標軸に沿った分散が正確に（1.0に）なったとしても、雲はまだ「形状」を持っていることに注意してください。同様に、高次元では、すべての軸に沿った分散が（1.0に）正確に等しくても、標準化された点群は非球形になります。主軸（および対応する固有値）はその形状を表します。これを理解する別の方法は、変数を標準化するときに行われるすべての再スケーリングとシフトが、座標軸の方向でのみ発生し、主方向自体では発生しないことに注意することです。

ここで行われていることは幾何学的に非常に直感的で明確であるため、これを「ブラックボックス操作」として特徴付けることは一筋縄ではいきません。それどころか、標準化とPCAはデータを順番に処理する最も基本的かつ日常的な作業の一部ですそれらを理解するために。

@ttnphnsが続きます

とき 1は、PCA（または因子分析や分析の他の同様のタイプ）で行うことを好む相関を（すなわちZ-標準化された変数の）代わりにそれを行うの共分散（すなわち中心の変数に）？

1. 変数が異なる測定単位である場合。それは明らかです。
2. 分析に線形関連のみを反映させたい場合。ピアソンrは、ユニスケール（variance = 1）変数間の共分散だけではありません。それは突然線形関係の強さの尺度となりますが、通常の共分散係数は線形関係と単調関係の両方を受け入れます。
3. 関連付けに生の偏りではなく相対的な偏り（平均から）を反映させたい場合。相関は分布とその広がりに基づいており、共分散は元の測定スケールに基づいています。リッカート型の項目で構成されるいくつかの臨床アンケートで精神科医が評価したように、患者の精神病理学的プロファイルを因子分析する場合、共分散を好むでしょう。なぜなら、専門家は心理学的に評価尺度を歪めることを期待されていないからです。一方、同じアンケートで患者の自画像を分析する場合は、おそらく相関関係を選択します。素人の評価は相対的な「他の人」、「過半数」、「許容偏差」であると予想されるため 1つの評価尺度を「縮小」または「拡大」するルーペ。

実用的な観点から言えば、ここでは人気がない可能性があります-異なるスケールで測定されたデータがある場合、相関（化学計量者であれば「UVスケーリング」）を行いますが、変数が同じスケールであり、それらのサイズが重要な場合（たとえば、分光データを使用する場合）、共分散（データのみを中心とする）の方が意味があります。PCAはスケールに依存する方法であり、ログ変換は非常に歪んだデータにも役立ちます。

ケモメトリックスの20年間の実用化に基づく私の謙虚な意見では、少し実験して、データのタイプに最適なものを確認する必要があります。最終的には、結果を再現し、結論の予測可能性を証明できるようにする必要があります。どうやってそこにたどり着くかはしばしば試行錯誤の場合ですが、重要なことはあなたがすることは文書化され再現可能であるということです。

$x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$度。その場合、線形結合の分散を最大化することはほとんど意味がないようです。その場合、PCAは異なるデータセットのソリューションを提供します。これにより、各変数のスケーリングが異なります。その後、corr_PCAを使用しているときに標準化を解除した場合、それは問題なく必要な場合があります。しかし、そのままのcorr_PCAソリューションをそのまま使用してそこで停止すると、物理データに関連するものではなく、数学的なソリューションが得られます。その後の非標準化は最低限必要であると思われる（つまり、逆標準偏差によって軸を「引き伸ばさない」）ため、cov_PCAを使用して開始することができます。あなたが今でも読んでいるなら、私は感銘を受けました！今のところ、Jolliffeの本p。42、これは私に関係する部分です：「ただし、元の変数に関して再表現された相関行列PCは、元の変数に関してではなく、標準化された変数に関して分散を最大化するxの線形関数であることを忘れてはなりません。」 私がこれまたはその影響を誤って解釈していると思われる場合、この抜粋はさらなる議論のための良い焦点になるかもしれません。