PCAの目的関数は何ですか？

主成分分析は行列分解を使用できますが、それはそこに到達するための単なるツールです。

行列代数を使用せずに主成分をどのように見つけますか？

目的関数（目標）とは何ですか？また、制約は何ですか？

pca

たぶん私は何かが足りないので、間違っている場合は修正してください必要なすべての制約をどのように述べるかを知ってください。また、PCAを使用する場合と比較して、それが非常に簡単になるかどうかもわかりません。なぜマトリックスを避けようとしているのですか？

— クリスシモカット

@Chris線形プログラミングの問題にどのように到達できるかわかりません。計算でマトリックスを避けるべきだということも私の理解ではありませんでした。問題は、PCAによってどのような問題が解決されるかであり、それが行われる方法ではありませんでした（たとえば、SVDを計算することによって）。カーディナルによる解決策は、最大分散の連続した直交方向を見つけると言います。私が提示したソリューションでは、再構成エラーが最小の超平面を見つけることができます。

— NRH

@chris私は、PCAの理解を深めるために、行列代数なしでPCAを見る別の方法を見つけたいと思っています。

— ニール

@Chris、二次目的関数とノルム等式制約があります。あるいは、@ NRHの答えの定式化の下で、行列ランク制約があります。それは、線形プログラミングの問題に勝るものではありません。@NRHはいくつかの良い直観を与えます。そして実際、与えられたPCAの2つの観点の間には非常に密接な関係があります。おそらく@NRHとのコラボレーションで、それを彼/彼女の投稿に追加して、回答の完全なセットをより完全にすることができます。

ℓ_{2}

$\ell_2$

— 枢機卿

@NRH、実際、ESLはとても好きですが、このトピックの扱いは、本の多くのトピックと同様、かなり表面的なものだと思います。特に、彼らはあなたが与える最適化問題の解決策の重要な部分を証明しません（または演習として割り当てさえしません）。

— 枢機

回答:

最適化の観点から、PCAに関する完全な入門書を提供しようとすることなく、主な目的関数はレイリー商です。商で行列は、サンプル共分散行列ここで、各は特徴のベクトルであり、は番目の行があるような行列です。

S = \frac{1}{n} \sum_{i = 1}^{n} x_{i} x_{i}^{T} = X^{T} X / n

$\newcommand{\m}[1]{\mathbf{#1}}\newcommand{\x}{\m{x}}\newcommand{\S}{\m{S}}\newcommand{\u}{\m{u}}\newcommand{\reals}{\mathbb{R}}\newcommand{\Q}{\m{Q}}\newcommand{\L}{\boldsymbol{\Lambda}} \S = \frac{1}{n} \sum_{i=1}^n \x_i \x_i^T = \m{X}^T \m{X} / n$

x_{i}

$\x_i$

p

$p$

X

$\m{X}$

i

$i$

x_{i}^{T}

$\x_i^T$

PCAは、一連の最適化問題を解決しようとします。シーケンスの最初は制約のない問題です

\begin{array}{ll} maximize & \frac{u^{T} S u}{u^{T} u}, u \in R^{p} . \end{array}

$\begin{array}{ll} \text{maximize} & \frac{\u^T \S \u}{\u^T\u} \;, \u \in \reals^p \> . \end{array}$

以来、上記の制約のない問題は制約のある問題と同等です $\u^T \u = \|\u\|_2^2 = \|\u\| \|\u\|$

\begin{array}{ll} maximize & u^{T} S u \\ subject to & u^{T} u = 1 . \end{array}

$\begin{array}{ll} \text{maximize} & \u^T \S \u \\ \text{subject to} & \u^T \u = 1 \>. \end{array}$

行列代数の出番は次のとおりです。は対称正定行列であるため（構築！）、の形式の固有値分解がありここでは直交行列（したがって）およびは、ような非負のエントリ持つ対角行列です。 $\S$

S = Q Λ Q^{T},

$\S = \Q \L \Q^T \>,$

Q

$\Q$

Q Q^{T} = I

$\Q \Q^T = \m{I}$

Λ

$\L$

λ_{i}

$\lambda_i$

λ_{1} \geq λ_{2} \geq \dots \geq λ_{p} \geq 0

$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$

したがって、。以来、一方のノルムを有するように問題に拘束され、そのようになるのでが直交しているため、です。 $\u^T \S \u = \u^T \Q \L \Q^T \u = \m{w}^T \L \m{w} = \sum_{i=1}^p \lambda_i w_i^2$ $\u$ $\m{w}$ $\|\m{w}\|_2 = \|\Q^T \u\|_2 = \|\u\|_2 = 1$ $\Q$

しかし、の制約の下で、量を最大化する場合、できることはセットであり、とのために。 $\sum_{i=1}^p \lambda_i w_i^2$ $\sum_{i=1}^p w_i^2 = 1$ $\m{w} = \m{e}_1$ $w_1 = 1$ $w_i = 0$ $i > 1$

そもそも探していたバックアウトすると、ここで最初の列、つまり最大固有値に対応する固有ベクトルを示します。目的関数の値は、ことが簡単にます。 $\u$

u^{⋆} = Q e_{1} = q_{1}

$\u^\star = \Q \m{e}_1 = \m{q}_1$

q_{1}

$\m{q}_1$

Q

$\Q$

S

$\S$

λ_{1}

$\lambda_1$

残りの主成分ベクトルは、最適化問題のシーケンス（インデックス付けされた）を解くことによって見つかりますしたがって、問題は同じです。ただし、解はシーケンス内の以前の解のすべてに直交しなければならないという追加の制約を追加します。番目の問題の解が実際に、つまり番目の固有ベクトルであることを示すために、上記の引数を帰納的に拡張することは難しくありません。 $i$

\begin{array}{ll} maximize & u_{i}^{T} S u_{i} \\ subject to & u_{i}^{T} u_{i} = 1 \\ u_{i}^{T} u_{j} = 0 \forall 1 \leq j < i . \end{array}

$\begin{array}{ll} \text{maximize} & \u_i^T \S \u_i \\ \text{subject to} & \u_i^T \u_i = 1 \\ & \u_i^T \u_j = 0 \quad \forall 1 \leq j < i\>. \end{array}$

i

$i$

q_{i}

$\m{q}_i$

i

$i$

S

$\S$

PCA解は、特異値分解の観点からもしばしば表されます。理由を確認するには、ます。それからそして（厳密に署名するまで、フリップ話す）と。 $\m{X}$ $\m{X} = \m{U} \m{D} \m{V}^T$ $n \S = \m{X}^T \m{X} = \m{V} \m{D}^2 \m{V}^T$ $\m{V} = \m{Q}$ $\L = \m{D}^2 / n$

主成分は、主成分ベクトルにを射影することで見つかります。与えられたSVD定式から、 $\m{X}$

X Q = X V = U D V^{T} V = U D .

$\m{X} \m{Q} = \m{X} \m{V} = \m{U} \m{D} \m{V}^T \m{V} = \m{U} \m{D} \> .$

特徴のマトリックスのSVDの観点からの主成分ベクトルと主成分自体の両方の表現の単純さは、PCAのいくつかの処理でSVD特徴が非常に顕著である理由の1つです。

— 枢機卿
ソース

最初の数個の特異値/ベクトルのみが必要な場合、NashとShlienは、支配的な固有値を計算するための通常のべき法を連想させるアルゴリズムを提供します。これはOPにとって興味深いかもしれません。

— JMは統計学者ではない

@NRH、タイプミスを見つける前にタイプミスをキャッチ（修正）してくれてありがとう！

— 枢機

こんにちは、@ cardinal、ご回答ありがとうございます。しかし、シーケンシャル最適化がグローバルな最適化につながる理由を証明するステップを与えていないようです。それについて詳しく説明していただけますか？ありがとう！

— リフファン

cardinalが提示するソリューションは、サンプルの共分散行列に焦点を当てています。もう1つの出発点は、q次元超平面によるデータの再構成エラーです。場合のp次元のデータ点がある客観解決することです $x_1, \ldots, x_n$

min_{μ, λ_{1}, \dots, λ_{n}, V_{q}} \sum_{i = 1}^{n} | | x_{i} - μ - V_{q} λ_{i} | |^{2}

$\min_{\mu, \lambda_1,\ldots, \lambda_n, \mathbf{V}_q} \sum_{i=1}^n ||x_i - \mu - \mathbf{V}_q \lambda_i||^2$

以下のため行列正規直交列を有すると。これにより、ユークリッドノルムで測定された最高ランクのq再構成が得られ、解の列は最初のq主成分ベクトルです。 $p \times q$ $\mathbf{V}_q$ $\lambda_i \in \mathbb{R}^q$ $\mathbf{V}_q$

固定の場合、および（これは回帰）の解は $\mathbf{V}_q$ $\mu$ $\lambda_i$

μ = \bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} λ_{i} = V_{q}^{T} (x_{i} - \bar{x})

$\mu = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i \qquad \lambda_i = \mathbf{V}_q^T(x_i - \overline{x})$

表記を簡単にするために、が次の計算の中心にあると仮定します。その後、最小化する必要があります $x_i$

\sum_{i = 1}^{n} | | x_{i} - V_{q} V_{q}^{T} x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - \mathbf{V}_q\mathbf{V}_q^T x_i||^2$

オーバー正規直交列を有します。はq次元の列空間への投影であることに注意してください。したがって、この問題は、ランク上のq突起。我々はする必要がある最大化 ランクqの投影で、はサンプル共分散行列です。今 $\mathbf{V}_q$ $P = \mathbf{V}_q\mathbf{V}_q^T$

\sum_{i = 1}^{n} | | x_{i} - P x_{i} | |^{2} = \sum_{i = 1}^{n} | | x_{i} | |^{2} - \sum_{i = 1}^{n} | | P x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - P x_i||^2 = \sum_{i=1}^n ||x_i||^2 - \sum_{i=1}^n||Px_i||^2$

P

$P$

\sum_{i = 1}^{n} | | P x_{i} | |^{2} = \sum_{i = 1}^{n} x_{i}^{T} P x_{i} = tr (P \sum_{i = 1}^{n} x_{i} x_{i}^{T}) = n tr (P S)

$\sum_{i=1}^n||Px_i||^2 = \sum_{i=1}^n x_i^TPx_i = \text{tr}(P \sum_{i=1}^n x_i x_i^T) = n \text{tr}(P \mathbf{S})$

P

$P$

S

$\mathbf{S}$

tr (P S) = tr (V_{q}^{T} S V_{q}) = \sum_{i = 1}^{q} u_{i}^{T} S u_{i}

$\text{tr}(P\mathbf{S}) = \text{tr}(\mathbf{V}_q^T\mathbf{S}\mathbf{V}_q) = \sum_{i=1}^q u_i^T \mathbf{S} u_i$ ここで、はの（正規）列であり、@ cardinalの回答に示されている引数は、 ' s は、最大固有値を持つ固有ベクトルになります。

u_{1}, \dots, u_{q}

$u_1, \ldots, u_q$

q

$q$

V_{q}

$\mathbf{V}_q$

u_{i}

$u_i$

q

$q$

S

$\mathbf{S}$

q

$q$

再構成エラーは、たとえばスパース主成分または超平面ではなく低次元多様体による再構成など、いくつかの有用な一般化を示唆しています。詳細については、「統計学習の要素」のセクション14.5を参照してください。

— NRH
ソース

（+1）良い点。いくつかの提案：を定義することは良いことであり、結果の簡単な証明を与えることは本当に素晴らしいことです。または、代わりに、レイリー商を含む最適化問題に関連付けることができます。これで、この質問に対する答えは非常に完全なものになると思います！

λ_{i}

$\lambda_i$

— 枢機

@枢機inal、私は再構成の定式化からあなたが解決する問題に到達するために欠けているステップを完了したと信じています。

— -NRH

よくやった。残っているギャップは最後の声明だけだと思います。合計を最適化することは、私の答えで最適化のシーケンスを実行することと同じであることはすぐにはわかりません。実際、一般的には直接続くとは思わない。ただし、ここで対処する必要はありません。

— 枢機

@cardinal、それは帰納法によって続きます。あなたは、誘導開始を提供し、誘導ステップで選択した正規直交ベクトルは合計を最大化していることので、それをアレンジ単位があるのベクトルに直交する。次に、結果および帰納法の仮定。もちろん、基底は次元空間の一意の基底ではありません。また、直接証明するために使用する「凸の組み合わせの引数」を一般化することもできます。

w_{1}, \dots, w_{q}

$w_1, \ldots, w_q$

w_{q}

$w_q$

u_{1}, \dots, u_{q - 1}

$u_1, \ldots, u_{q-1}$

w_{q}^{T} S w_{q} \leq u_{q}^{T} S u_{q}

$w_q^T \mathbf{S} w_q \leq u_q^T \mathbf{S} u_q$

\sum_{i = 1}^{q - 1} w_{i}^{T} S w_{i} \leq \sum_{i = 1}^{q - 1} u_{i}^{T} S u_{i}

$\sum_{i=1}^{q-1} w_i^T \mathbf{S} w_i \leq \sum_{i=1}^{q-1}u_i^T \mathbf{S} u_i$

q

$q$

— NRH

@cardinal、私は入れ子を強制するのではなく、単に次元の考慮を使用します。次元の部分空間がある場合、次元の部分空間に直交するように、その空間で常にを選択できます。次に、基底を好きなように埋めます。

q

$q$

w_{q}

$w_q$

(q - 1)

$(q-1)$

w

$w$

— -NRH

行列分解を明示的に使用しないアルゴリズムについては、NIPALS（wiki）をご覧ください。ここでは本当に行列代数を避けることはできないので、行列代数を避けたいと言うとき、それがあなたの言うことだと思います:)

— JMS
ソース