線形カーネルを備えたカーネルPCAは標準のPCAと同等ですか？

した場合、カーネルPCA I線形カーネルの選択、結果が異なることになるだろう通常の線形PCA？ソリューションは根本的に異なりますか、または明確に定義された関係が存在しますか？ $K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$

pca kernel-trick

— tgoossens
ソース

要約：線形カーネルを使用したカーネルPCAは、標準PCAとまったく同じです。

LET の中心データ行列である有するサイズ列との変数行のデータポイント。次いで、共分散行列は、によって与えられる、その固有ベクトルは、主軸と固有値であるPCは差異れます。同時に、一つはいわゆるグラム行列を検討することができますのサイズを。まで同じ固有値（つまりPC分散）を持っていることが簡単にわかります。 $\mathbf{X}$ $N \times D$ $D$ $N$ $D \times D$ $\mathbf{X}^\top\mathbf{X}/(n-1)$ $\mathbf{X}\mathbf{X}^\top$ $N \times N$ $n-1$ 因子、およびその固有ベクトルは単位ノルムにスケーリングされた主成分です。

これは標準のPCAでした。ここで、カーネルPCAでは、各データポイントを、通常はより大きな次元（場合によっては無限）を持つ別のベクトル空間にマッピングする関数を検討します。カーネルPCAのアイデアは、この新しいスペースで標準PCAを実行することです。 $\phi(x)$ $D_\mathrm{new}$

この新しい空間の次元は非常に大きい（または無限）ため、共分散行列を計算することは困難または不可能です。ただし、上記のPCAに2番目のアプローチを適用できます。確かに、グラム行列は同じ管理可能なサイズのままです。この行列の要素はで与えられ、これをカーネル関数と呼びます $N \times N$ $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ 。これはカーネルトリックとして知られているものです。実際にはを計算する必要はなく、のみを計算する必要があります。このグラム行列の固有ベクトルは、ターゲット空間の主成分であり、興味のあるものです。 $\phi()$ $K()$

これで、あなたの質問に対する答えが明らかになります。もし、カーネルグラム行列は、に帰着標準グラム行列に等しく、したがって主成分は変更されません。 $K(x,y)=\mathbf{x}^\top \mathbf{y}$ $\mathbf{X} \mathbf{X}^\top$

非常に読みやすいリファレンスは、Scholkopf B、Smola A、およびMüllerKR、カーネル主成分分析、1999です。たとえば、図1では、カーネル関数としてドット積を使用するものとして標準PCAを明示的に参照しています。

カーネルPCA

— アメーバはモニカを復活させると言う
ソース

それらの写真はあなたの答えにありましたか？本から？

— ピノキオ

@ピノキオ、図はScholkopfらから取られています私の答えで参照されリンクされている論文。

— アメーバは、モニカを復活させる

「n-1ファクターまで同じ固有値（つまりPC分散）を持っていることが簡単にわかります」-これは、それらが完全に同等ではないことを意味しませんか？n = 10サンプル、d = 200次元のマトリックスがあるとします。標準のPCAでは、必要に応じて199次元にデータを投影できますが、線形カーネルを使用したカーネルPCAでは、最大10次元しかできません。

— セザール

@Cesar、いいえ、n = 10個のサンプルがある場合、共分散行列のランクは10-1 = 9になり、標準PCAは9次元（およびカーネルPCA）のみを検出します。ここを参照してください：stats.stackexchange.com/questions/123318を。

— アメーバは、モニカーを復活させる

Scholkopf B、Smola A、MüllerKRの参照リンクのファイルが見つかりません。

— -pbible

$X$ $N \times D$ $D$ $N$ $X = U \Sigma V^\top$ $U$ $X$ $XX^\top = U \Sigma^2 U^\top$ は、同じ左特異ベクトルと同じ主成分を持っています。

— マーサ・ホワイト
ソース

標準のPCAについては、共分散行列のSVDを気にかけていると思ったので、XのSVDがどのように関連しているか本当に理解していないのですが、拡張してください。

— m0s

@ m0s PCAの場合、（中心の）データ行列のSVDによって通常実行される共分散行列の固有分解に注意します。

— MrDrFenner

線形カーネルを持つKPCAは単純なPCAと同じであるように思えます。

固有値を取得する共分散行列は同じです。

l i n e a r K P C A_{m a t r i x} = \frac{1}{l} \sum_{j = 1}^{l} K (x_{j}, x_{j}) = \frac{1}{l} \sum_{j = 1}^{l} x_{j} x_{j}^{T} = P C A_{m a t r i x}

$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$

ここで詳細を確認できます。

— ジュンディアウス
ソース

K (x_{i}, x_{j})

$K(x_i, x_j)$