PCAは、次元数が観測数よりも大きい場合でも、共分散行列の固有分解を介して行われますか？

私は行列私含む、でサンプルを次元空間。次に、Matlabで自分の主成分分析（PCA）をコード化したいと思います。最初にからを降格します。 $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

観測よりも次元が多いシナリオでは、の共分散行列をもはや固有分解しないという誰かのコードを読みました。代わりに、固有分解します $X_0$ 。なぜそれが正しいのですか？ $\frac{1}{N-1}X_0X_0^T$

通常の共分散行列のサイズは、その各要素は2次元間の共分散を示します。私にとって、 $D\times D$ は正しい寸法ではありません！これは行列なので、何を教えてくれるでしょうか。2つの観測間の共分散？！ $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— シブズギャンブル
ソース

あなたの質問への答えは、あなたのタスクのポーズから続くように、あなた自身のために列の共分散行列を必要としない状況にあります。PCを入手するためのパスとしてのみ必要でした。正しい？しかし、同じPCAの結果は、固有のを経由して得ることができるX'XとXX'（同様のSVD XとX'）。ある場合には「ローディング」と呼ばれるものは、別の場合には「PCスコア」と呼ばれ、その逆も同様です。どちらも単なる座標（たとえばを参照）と軸なので、「主要な次元」は同じです。

— ttnphns 2015

（続き）もしそうなら、あなたは分解するものを自由に選択できます-それはより速く/より効率的に行うことであるものを分解するのが賢明です。ときにn<pそれが分解するより少ないRAMとあまり時間がかかりXX'、それは小さいサイズであるため。

— ttnphns 2015

@ttnphns素晴らしい説明。私は今そのポイントを理解しています。しかし、私はまだ固有からXX'PCに行く問題を抱えています。簡単に教えてください。PCは共分散行列の固有ベクトルだけであることを考えると、私はの固有値から移動しようとしたXX'共分散行列の固有値にX'X、しかし失敗しました。

— Sibbsギャンブル2015

私が行かなければならない。おそらく、@ amoeba（私よりも代数の方がはるかに俊敏です）または別の読者がすぐにここを調べて、あなたを助けるでしょう。乾杯。

— ttnphns 2015

@ttnphns：完了:)

— amoebaは、

$D\times D$

C = \frac{1}{N - 1} X_{0}^{⊤} X_{0}^{} .

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

$N\times N$

G = \frac{1}{N - 1} X_{0}^{} X_{0}^{⊤} .

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

主成分分析（PCA）は、これらのマトリックスのいずれかの固有分解を介して実装できます。これらは、同じものを計算するための2つの異なる方法にすぎません。

$\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} C & = V \frac{S^{2}}{N - 1} V^{⊤} \\ G & = U \frac{S^{2}}{N - 1} U^{⊤} . \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

$\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

$N<D$ $D$ $D$ $N<D$

参照：固有ベクトル間の関係 $\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— アメーバはモニカを復活させると言う
ソース

正解です。名前なんて知らなかった！どうもありがとう！これを使用して計算を高速化できると確信しています。

— Sibbsギャンブル2015

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

この答えは、私が本で見た多くの博覧会であることは明らかです。ありがとう。

— usεr11852

純粋に参照目的のため：IJグッドの1969年のテクノメトリクスペーパー「マトリックスの特異分解のいくつかのアプリケーション」は、これを完全に最初に参照した最初の1つだと思います。

— usεr11852

@MattWenham正確に。

— アメーバは、モニカ