PCAが（距離を伴う）幾何学的問題から（固有ベクトルを伴う）線形代数問題にどのように変化するかについての直感的な説明は何ですか？

私は（のような様々なチュートリアルや質問など、PCAについて多く、読んだ本1、この1、この1、およびこれを）。

PCAが最適化しようとしている幾何学的問題は、私には明らかです。PCAは、再構成（投影）エラーを最小化することで最初の主成分を見つけようとし、同時に投影データの分散を最大化します。

最初にそれを読んだとき、私はすぐに線形回帰のようなものを考えました。必要に応じて、勾配降下法を使用して解決できます。

しかし、その後、線形代数を使用して固有ベクトルと固有値を見つけることで最適化問題が解決されることを読んだとき、私の心は吹き飛ばされました。私は、この線形代数の使用がどのように作用するかを単純に理解していません。

だから私の質問は次のとおりです。PCAはどのようにして幾何学的最適化問題から線形代数問題に変わるのでしょうか？誰かが直感的な説明を提供できますか？

私のような答えを捜しているわけではない、この1と言い、「あなたはPCAの数学の問題を解決するとき、それは共分散行列の固有値と固有ベクトルを見つけることと等価なってしまいます。」固有ベクトルが主成分となる理由と、固有ベクトルが投影されるデータの分散となる理由を説明してください

ちなみに、私はソフトウェアエンジニアであり、数学者ではありません。

注：上記の図は、このPCAチュートリアルから取られて変更されています。

問題文

PCAが最適化しようとしている幾何学的問題は、私には明らかです。PCAは、再構成（投影）エラーを最小化することで最初の主成分を見つけようとし、同時に投影データの分散を最大化します。

そのとおり。この2つの定式化の関係については、ここ（数学なし）またはここ（数学あり）で説明します。

2番目の定式化を考えてみましょう。PCAは、データの投影が可能な限り高い分散になるように方向を見つけようとしています。この方向は、定義上、最初の主方向と呼ばれます。次のように我々はそれを定式化することができる：与えられた共分散行列、我々はベクトルを探している有する単位長さ、、その結果、は最大です。$\mathbf C$$\mathbf w$$\|\mathbf w\|=1$$\mathbf w^\top \mathbf{Cw}$

（これが明確でない場合：が中央データ行列の場合、投影は与えられ、その分散は。）$\mathbf X$$\mathbf{Xw}$$\frac{1}{n-1}(\mathbf{Xw})^\top \cdot \mathbf{Xw} = \mathbf w^\top\cdot (\frac{1}{n-1}\mathbf X^\top\mathbf X)\cdot \mathbf w = \mathbf w^\top \mathbf{Cw}$

一方、の固有ベクトル定義することで、任意のベクトルよう。$\mathbf C$$\mathbf v$$\mathbf{Cv}=\lambda \mathbf v$

最初の主方向は、最大の固有値を持つ固有ベクトルによって与えられることがわかります。これは自明ではない驚くべき声明です。

---

証明

PCAの本やチュートリアルを開くと、上記の声明の次のほぼ1行の証拠を見つけることができます。という制約の下で、を最大化します。これは、ラグランジュ乗数を導入し、を最大化することで実行できます。微分すると、固有ベクトル方程式であるが得られます。実際、この解を目的関数に代入することにより、が最大固有値であることがわかります。$\mathbf w^\top \mathbf{Cw}$$\|\mathbf w\|=\mathbf w^\top \mathbf w=1$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1)$$\mathbf{Cw}-\lambda\mathbf w=0$$\lambda$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1) = \mathbf w^\top \mathbf{Cw} = \lambda\mathbf w^\top \mathbf{w} = \lambda$。この目的関数を最大化する必要があるため、は最大固有値QEDでなければなりません。$\lambda$

これはほとんどの人にとってあまり直感的ではない傾向があります。

より良い証明（例：@cardinalによるこのきちんとした答えを参照）は、は対称行列であるため、固有ベクトル基底が対角であると言います。（これは実際にはスペクトル定理と呼ばれます。）したがって、直交基底、つまり固有ベクトルによって与えられる基底を選択できます。ここで、は対角で、対角に固有値があります。それに基づいて、はに簡略化されます。つまり、分散は固有値の加重和によって与えられます。この式を最大化するには、$\mathbf C$$\mathbf C$$\lambda_i$$\mathbf w^\top \mathbf{C w}$$\sum \lambda_i w_i^2$$\mathbf w = (1,0,0,\ldots, 0)$、つまり、分散を生成する最初の固有ベクトル（実際、この解から逸脱し、小さい固有の部分の最大固有値の「トレーディング」部分は、小さい全体の分散のみにつながります）。の値は基底に依存しないことに注意してください！固有ベクトル基底への変更は回転に相当するため、2Dでは散布図で紙片を単純に回転させることが想像できます。明らかにこれは分散を変えることができません。$\lambda_1$$\mathbf w^\top \mathbf{C w}$

これは非常に直感的で非常に有用な議論だと思いますが、スペクトル定理に依存しています。ここでの本当の問題は、スペクトル定理の背後にある直観は何ですか？

---

スペクトル定理

対称行列取ります。最大固有値固有ベクトルをします。この固有ベクトルを最初の基底ベクトルにし、他の基底ベクトルをランダムに選択します（すべてが正規直交になるように）。どのようにしますこれを基礎に見て？$\mathbf C$$\mathbf w_1$$\lambda_1$$\mathbf C$

これは、左上隅にがあります。これは、これに基づいておよび はと等しくなければなり。$\lambda_1$$\mathbf w_1=(1,0,0\ldots 0)$$\mathbf {Cw}_1=(C_{11}, C_{21}, \ldots C_{p1})$$\lambda_1\mathbf w_1 = (\lambda_1,0,0 \ldots 0)$

同じ引数により、下の最初の列にゼロがあります。$\lambda_1$

しかし、対称なので、後の最初の行にもゼロがあります。そのため、次のようになります。$\lambda_1$

$$\mathbf C=\begin{pmatrix}\lambda_1 & 0 & \ldots & 0 \\ 0 & & & \\ \vdots & & & \\ 0 & & & \end{pmatrix},$$

ここで、空白は、いくつかの要素のブロックがあることを意味します。マトリックスは対称であるため、このブロックも対称になります。したがって、2番目の基底ベクトルとして2番目の固有ベクトルを効果的に使用し、対角線上のとを取得して、まったく同じ引数を適用できます。これは、が対角になるまで続行できます。それは本質的にスペクトル定理です。（が対称であるためにのみ機能することに注意してください。）$\lambda_1$$\lambda_2$$\mathbf C$$\mathbf C$

---

これは、まったく同じ議論のより抽象的な再定式化です。

我々は知っている最初の固有ベクトルは、1次元の部分空間定義するように、スカラー倍算として作用します。ここで、直交するベクトルます。そして、も直行することはほとんど即座です。確かに：$\mathbf{Cw}_1 = \lambda_1 \mathbf w_1$$\mathbf C$$\mathbf v$$\mathbf w_1$$\mathbf {Cv}$$\mathbf w_1$

$$\mathbf w_1^\top \mathbf{Cv} = (\mathbf w_1^\top \mathbf{Cv})^\top = \mathbf v^\top \mathbf C^\top \mathbf w_1 = \mathbf v^\top \mathbf {Cw}_1=\lambda_1 \mathbf v^\top \mathbf w_1 = \lambda_1\cdot 0 = 0.$$

ことをこの手段残り全体に作用する部分空間に直交するそれとは別のままよう。これは対称行列の重要な特性です。そこで、最大の固有ベクトルて同じ方法で進め、最終的に固有ベクトルの正規直交基底を構築します。$\mathbf C$$\mathbf w_1$$\mathbf w_1$$\mathbf w_2$

Eckart and Young（https://ccrma.stanford.edu/~dattorro/eckart%26young.1936.pdf）による1936年の結果があります。

$\sum_1^r d_k u_k v_k^T = arg min_{\hat{X} \epsilon M(r)} ||X-\hat{X}||_F^2$

ここで、M（r）はランクr行列のセットであり、これは基本的にXのSVDの最初のr成分がXの最高の低ランク行列近似を与え、最高が2乗フロベニウスノルム-2乗の和で定義されることを意味します行列の要素。

これは行列の一般的な結果であり、一見データセットや次元削減とは関係ありません。

ただし、を行列とは思わず、データポイントのベクトルを表す行列列を考えると、は平方誤差差の表現誤差が最小の近似になります。$X$$X$$\hat{X}$

これは、PCAの背後にある線形代数に関する私の見解です。線形代数において、重要な定理の1つはです。Sが実数係数を持つ対称n×n行列である場合、Sはすべての固有値が実数であるn個の固有ベクトルを持ちます。つまり、正のエントリを持つ対角行列D を使用してを記述できます。それはであり、と仮定しても害はありません。Aは基底行列の変化です。つまり、元の基底がであった場合、与えられた基底に関して$\textit{Spectral Theorem}$$S = ADA^{-1}$$D = \mbox{diag} (\lambda_1, \lambda_2, \ldots, \lambda_n)$$\lambda_1 \geq \lambda_2 \geq \ldots \geq \lambda_n$$x_1,x_2, \ldots, x_n$$A(x_1), A(x_2), \ldots A(x_n)$、Sのアクションは対角です。これはまた、が直交基底とみなせることを意味します。 共分散行列がn個の変数のn個の観測値用である場合、完了です。によって提供される基底は、PCA基底です。これは線形代数の事実に基づいています。本質的には、PCA基底は固有ベクトルの基底であり、サイズnの正方行列の最大n個の固有ベクトルがあるため、それは事実です。 もちろん、ほとんどのデータ行列は正方形ではありません。Xがp変数のn個の観測値を持つデータ行列である場合、Xのサイズはn x pです。（変数よりも多くの観測値）およびと仮定します$A(x_i)$$||A(x_i)|| = \lambda_i$$A(x_i)$
$n>p$$rk(X) = p$（すべての変数は線形独立です）。どちらの仮定も必要ではありませんが、直観に役立ちます。線形代数には、特異値分解と呼ばれるスペクトル定理からの一般化があります。このようなX に対して、サイズnとpのU、V正規直交（正方）行列とおよび非負のみの実対角行列対角線上のエントリ。再び、Vの基底を再配置して、することができます。これは、マトリックスの用語で、 ifとであれば。$X = U \Sigma V^{t}$$\Sigma = (s_{ij})$$s_{11} \geq s_{22} \geq \ldots s_{pp}> 0$$X(v_i) = s_{ii} u_i$$i \leq p$$s_{ii} = 0$$i> n$$v_i$PCA分解を行います。より正確には、はPCA分解です。なぜですか？再び、線形代数は、p個の固有ベクトルしか存在できないと言います。SVDは、直交し、ノルムが減少する新しい変数（Vの列で与えられる）を提供します。 $\Sigma V^{t}$

「これは同時に、投影データの分散を最大化します。」レイリーの商を聞いたことがありますか？たぶんそれがこれを見る一つの方法です。つまり、共分散行列のレイリー商は、投影データの分散を提供します。（およびWikiページでは、固有ベクトルがレイリー商を最大化する理由を説明しています）

@amoebaは次のことをきちんとした形式化と証明を提供します。

次のように形式化できます。共分散行列Cが与えられた場合、w ^T Cwが最大になるような単位長、w‖= 1のベクトルwを探します。

しかし、私は1つの直感的な証拠があると思います：

最初の主方向は、最大の固有値を持つ固有ベクトルによって与えられることがわかります。これは自明ではない驚くべき声明です。

w ^T Cwは、ベクトルwとCwの間の内積として解釈できます。これは、変換 C を通過するwによって取得されます。

w ^T Cw =‖w‖*‖Cw‖* cos（w、Cw）

wには固定長があるため、w ^T Cw を最大化するには、以下が必要です。

1. ‖Cw‖を最大化する
2. cos（w、Cw）を最大化します

wを最大の固有値を持つCの固有ベクトルとすると、両方を同時にアーカイブできます。

1. ‖Cw‖は最大です（wがこの固有ベクトルから外れている場合、直交固有ベクトルに沿って分解すると、‖Cw‖が減少します）。
2. 同じ方向のwとCw、cos（w、Cw）= 1、最大

固有ベクトルは直交しているため、Cの他の固有ベクトルとともに、Xに対する一連の主成分を形成します。

---

1の証明

wを直交する一次および二次固有ベクトルv1およびv2に分解し、それらの長さがそれぞれv1およびv2であると仮定します。私たちは証明したい

（λ ₁ W）² >（（λ ₁ V1）² +（λ ₂ V2）²）

λ以来₁ >λ ₂、我々は持っています

（（λ ₁ V1）² +（λ ₂ V2）²）

<（（λ ₁ V1）² +（λ ₁ V2）²）

=（λ ₁）² *（V1 ² + V2 ²）

=（λ ₁）² wの* ²