PCAが投影の全体の分散を最大化するのはなぜですか？

Christopher Bishopは彼の著書「パターン認識と機械学習」に、以前に選択されたコンポーネントに対して直交空間にデータが投影された後、連続する各主成分が1次元への投影の分散を最大化するという証明を書いています。他は同様の証明を示します。

ただし、これは、分散を最大化することに関して、連続する各コンポーネントが1つの次元への最良の投影であることを証明するだけです。なぜこれが意味するのか、最初にそのようなコンポーネントを選択すると、5次元と言う投影の分散が最大化されますか？

— ミハル
ソース

5次元へのデータセットの投影から生じる5次元データセットの「分散」が何を意味するのか正確に教えていただけませんか？（そのような数量を最大化するためには、単一の数値である必要があります。）

— whuber

非常に良い点です。彼の本のクリス・ビショップは、投影の分散を最小化することを言及しており、それが1次元以上で何を意味するかは非常に明確ではありません。分散がどのような意味で最小化されているのか、なぜそのような手順で共同で分散が最小化されるのかを学びたいと思います。

— michal 2014年

@ user123675：最後のコメントでは、おそらく「最小化」ではなく「最大化」を意味します。

— アメーバ2014年

はい、そうです。ごめんなさい！

— michal 2014

回答:

いくつかの次元の分散（「合計分散」）によって理解されるのは、単に各次元の分散の合計です。数学的には、これは共分散行列のトレースです。トレースは単にすべての対角要素の合計です。この定義にはさまざまな優れたプロパティがあります。たとえば、トレースは直交線形変換では不変です。つまり、座標軸を回転しても、分散の合計は同じままです。

Bishopの本（セクション12.1.1）で証明されていることは、共分散行列の主要な固有ベクトルが最大分散の方向を与えることです。2番目の固有ベクトルは、最初の固有ベクトルと直交する必要があるという追加の制約の下で最大分散の方向を示します（これは演習12.1を構成していると思います）。目標が2D部分空間の分散全体を最大化することである場合、この手順は貪欲な最大化です。最初に分散を最大化する1つの軸を選択し、次に別の軸を選択します。

あなたの質問は次のとおりです。なぜこの貪欲な手順は世界的な最大値を取得するのですか？

$\boldsymbol{\Sigma} = \mathrm{diag}(\lambda_i)$ $\lambda_1+\lambda_2$

$\mathbf{u}$ $\mathbf{v}$

u^{⊤} Σ u + v^{⊤} Σ v = \sum λ_{i} u_{i}^{2} + \sum λ_{i} v_{i}^{2} = \sum λ_{i} (u_{i}^{2} + v_{i}^{2}) .

$\mathbf{u}^\top\boldsymbol{\Sigma}\mathbf{u} + \mathbf{v}^\top\boldsymbol{\Sigma}\mathbf{v} = \sum \lambda_i u_i^2 + \sum \lambda_i v_i^2 = \sum \lambda_i (u_i^2+v_i^2).$

λ_{i}

$\lambda_i$

1

$1$

2

$2$

λ_{1} + λ_{2}

$\lambda_1 + \lambda_2$

$1$ $u_k^2+v_k^2 = (\mathbf{u}\cdot\mathbf{k})^2+(\mathbf{v}\cdot\mathbf{k})^2$ $\mathbf{k}$ $k$ $\mathbf k$ $\mathbf u$ $\mathbf v$ $\mathbf k$ $|\mathbf{k}|^2=1$

PCAの目的関数とは何かに対する@cardinalの回答も参照してください。（同じロジックに従います）。

— アメーバ
ソース

k

$k$

k

$k$

k

$k$

@amoeba：分散の合計ではなく分散の合計を最大化することが目標である場合、2番目の投影が最初の投影に直交する理由はありません。

— Innuo

k

$k$

1

$1$

k

$k$

@amoeba：固有ベクトル（対角共分散行列を乗じて分散を計算する場合、これはuとvのベースです）で構成されるベースの問題を検討していることを意味します。uとvは最終的にそれらであることが判明しますが、この証明の段階では、これを想定すべきではありません。むしろ引数ではないはずです。いずれかの時点で合計が1より大きい場合、2つのベクトルはもはや直交しません。これは、ベースが直交し、各ベクトルが最大で1をもたらすためです。しかし、もう一度、なぜ私たちは自分自身を直交ベクトルuとvに制限するのでしょうか？

— michal 14

@ハイゼンベルク：ああ、なるほど！いいえ、もちろんそうではありませんでした。しかし、私は今、それが混乱を招いた理由を理解しています。この「根拠を選択する」ステップを取り除くために、この最後の証明を書き直しました。私の編集を見てください。ありがとうございました。

— amoeba 2015年

$N$ $k$ $k$

$N$

直観を明確にするために、分散の最大化を最大の固有値を持つ共分散行列の固有ベクトルの計算に関連付け、直交射影を相関の除去に関連付ける必要があります。

2つのベクトルの相関係数はそれらの内積に比例するため、2番目の関係は私には明らかです。

分散の最大化と共分散行列の固有分解の関係は次のとおりです。

$D$ $v$ $v$

$E[(Dv)^t Dv] = v^t E[D^tD] v = v^t Cov(D) v$

$v$ $Cov(D)$

— イヌオ
ソース

k

$k$

k

$k$

k

$k$

N

$N$

k

$k$

N

$N$

k

$k$

k

$k$

ああ、私は混乱を理解しています。私の答えにはタイプミスがありました。今修正されました。

— Innuo

あなたはここで何かをしているかもしれませんが、合計の魔法のような外観は説明する必要があります。PCAやスペクトル分解にどのような関連がありますか？

— whuber