主成分分析の「後方」：データの分散は、変数の与えられた線形結合によってどの程度説明されますか？

6つの変数、、、、、主成分分析を実行しました。正しく理解すれば、回転していないPC1はこれらの変数の線形結合がデータの最大の分散を説明/説明し、PC2はこれらの変数の線形結合がデータの次に大きな分散を説明するなどを教えてくれます。 $A$ $B$ $C$ $D$ $E$ $F$

私はちょうど興味があります-この「後方」を行う方法はありますか？これらの変数の線形結合を選択するとしましょう。たとえば、場合、これが記述するデータの分散を計算できますか？ $A+2B+5C$

— N26
ソース

厳密には、PC2はPC1に直交する線形結合であり、データの次に大きい分散を表します。

— ヘンリー

を推定しようとしていますか？

V a r (A + 2 B + 5 C)

$Var(A+2B+5C)$

— vqv

すべての良い答え（3つの+1）。1つ以上の潜在変数を「変数の線形結合」とみなす場合、潜在変数アプローチ（SEM / LVM）を介して定式化された問題を解決できるかどうかについての人々の意見に興味があります。

— アレクサンドルブレフ

@Aleksandr、私の答えは、実際には他の2つと直接対立しています。私は答えを編集して意見の不一致を明確にしました（さらに、数学を詳しく説明するためにさらに編集する予定です）。2つの標準化された同一の変数持つデータセットを想像してください。はどの程度の分散を表しますか？他の2つのソリューションはます。正解はです。

X = Y

$X=Y$

X

$X$

50 %

$50\%$

100 %

$100\%$

— アメーバは、モニカを復活させる

@amoeba：素材を完全に理解するのにまだ苦労していますが、あなたの答えは異なることを理解しています。「すてきな答え」と言ったとき、私は答えの正確さではなく、それ自体の答えのレベルが好きだと暗示しました。統計と呼ばれる荒れた国で独学で探求している私のような人々にとって、それは教育的価値があることがわかりました:-)。それが理にかなっていることを願っています。

— アレクサンドルブレフ

回答:

すべての変数が中心に置かれているという前提から始めた場合（PCAの標準的な手法）、データの合計分散は単なる平方和になります。

T = \sum_{i} (A_{i}^{2} + B_{i}^{2} + C_{i}^{2} + D_{i}^{2} + E_{i}^{2} + F_{i}^{2})

$T=\sum_{i}(A_{i}^{2}+B_{i}^{2}+C_{i}^{2}+D_{i}^{2}+E_{i}^{2}+F_{i}^{2})$

これは、変数の共分散行列のトレースに等しく、共分散行列の固有値の合計に等しくなります。これは、PCAが「データの説明」の観点から言っているのと同じ量です。つまり、PCに共分散行列の対角要素の最大の割合を説明してもらいたいのです。これを次のような予測値のセットの目的関数にすると、次のようになります。

S = \sum_{i} ({[A_{i} - {\hat{A}}_{i}]}^{2} + \dots + {[F_{i} - {\hat{F}}_{i}]}^{2})

$S=\sum_{i}\left(\left[A_{i}-\hat{A}_{i}\right]^{2}+\dots+\left[F_{i}-\hat{F}_{i}\right]^{2}\right)$

次に、最初の主成分は、すべてのランク1近似値中で最小化します。したがって、後の適切な数量はように思われます。サンプルを使用するには、この方程式をランク1の予測に変換する必要があります。まず、重みを正規化して平方和1にする必要があります。そのため、（平方和）を。次に、正規化された重みに従って各観測値を「スコアリング」します。 $S$ $(\hat{A}_{i},\dots,\hat{F}_{i})$

P = 1 - \frac{S}{T}

$P=1-\frac{S}{T}$

A + 2 B + 5 C

$A+2B+5C$

(1, 2, 5, 0, 0, 0)

$(1,2,5,0,0,0)$

30

$30$

(\frac{1}{\sqrt{30}}, \frac{2}{\sqrt{30}}, \frac{5}{\sqrt{30}}, 0, 0, 0)

$\left(\frac{1}{\sqrt{30}},\frac{2}{\sqrt{30}},\frac{5}{\sqrt{30}},0,0,0\right)$

Z_{i} = \frac{1}{\sqrt{30}} A_{i} + \frac{2}{\sqrt{30}} B_{i} + \frac{5}{\sqrt{30}} C_{i}

$Z_{i}=\frac{1}{\sqrt{30}}A_{i}+\frac{2}{\sqrt{30}}B_{i}+\frac{5}{\sqrt{30}}C_{i}$

次に、スコアに重みベクトルを掛けて、ランク1の予測を取得します。

(\begin{matrix} {\hat{A}}_{i} \\ {\hat{B}}_{i} \\ {\hat{C}}_{i} \\ {\hat{D}}_{i} \\ {\hat{E}}_{i} \\ {\hat{F}}_{i} \end{matrix}) = Z_{i} \times (\begin{matrix} \frac{1}{\sqrt{30}} \\ \frac{2}{\sqrt{30}} \\ \frac{5}{\sqrt{30}} \\ 0 \\ 0 \\ 0 \end{matrix})

$\begin{pmatrix} \hat{A}_{i} \\ \hat{B}_{i} \\ \hat{C}_{i} \\ \hat{D}_{i} \\ \hat{E}_{i} \\ \hat{F}_{i}\end{pmatrix} =Z_{i}\times\begin{pmatrix} \frac{1}{\sqrt{30}} \\ \frac{2}{\sqrt{30}} \\ \frac{5}{\sqrt{30}} \\ 0 \\ 0 \\ 0\end{pmatrix}$

次に、これらの推定値を計算プラグインします。これを行列ノルム表記に入れることもできます。これは、異なる一般化を示唆する場合があります。を変数の観測値の行列として設定した場合（あなたの場合は）、を予測の対応する行列として設定します。次のように説明される分散の割合を定義できます。 $S$ $P$ $O$ $N\times q$ $q=6$ $E$

\frac{| | O | |_{2}^{2} - | | O - E | |_{2}^{2}}{| | O | |_{2}^{2}}

$\frac{||O||_{2}^{2}-||O-E||_{2}^{2}}{||O||_{2}^{2}}$

ここで、はフロベニウス行列ノルムです。したがって、これを他の種類の行列ノルムに「一般化」することができ、平方変化の合計でない限り「分散」ではありませんが、「変動の説明」の差の尺度が得られます。 $||.||_{2}$

— 確率論
ソース

これは合理的なアプローチですが、式は大幅に簡素化され、の平方和を総平方和でしたものに等しくなることが示されます。また、これは質問を解釈する最良の方法ではないと思います。私がより理にかなっていると主張する別のアプローチについての私の答えを参照してください（特に、そこの私の例の図を参照してください）。

Z_{i}

$Z_i$

T

$T$

— アメーバは、2015

そのように考えてください。2つの標準化された同一の変数持つデータセットを想像してください。はどの程度の分散を表しますか？あなたの計算はます。正解はです。

X = Y

$X=Y$

X

$X$

50 %

$50\%$

100 %

$100\%$

— アメーバは、モニカを復活させる

@amoeba-場合、最初のPCは -これにより、ランクスコアが得られます。（仮定）。これは、ランク予測を提供し、同様に予測を提供します。したがって、およびます。したがって、あなたの直感が示唆するように、あなたは100％を得ます。

X = Y

$X=Y$

(\frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}})

$(\frac {1}{\sqrt {2}},\frac {1}{\sqrt {2}})$

1

$1$

z_{i} = \frac{x_{i} + y_{i}}{\sqrt{2}} = x_{i} \sqrt{2}

$z_i=\frac {x_i+y_i}{\sqrt {2}}=x_i\sqrt {2}$

x_{i} = y_{i}

$x_i=y_i$

1

$1$

{\hat{x}}_{i} = x_{i}

$\hat {x}_i=x_i$

{\hat{y}}_{i} = y_{i}

$\hat {y}_i=y_i$

O - E = 0

$O-E=0$

S = 0

$S =0$

— 確率論的

ええ、はい、確かに、最初のPCは100％の分散を説明していますが、それは私が意図したものではありません。私が意味したのはですが、問題は、つまりベクトルによってどの程度の分散が記述されているかということです。あなたの式はそれで何と言いますか？

X = Y

$X=Y$

X

$X$

(1, 0)

$(1,0)$

— アメーバは、モニカを復活させる

@amoeba-これは50％を意味しますが、ベクトルはの最高ランク予測子がおよびとして与えられることに注意してください（選択したベクトルの下でであることに注意してください）。これは最適な予測ではないため、100％が得られません。このセットアップでは、と両方を予測する必要があります。

(1, 0)

$(1,0)$

1

$1$

(x_{i}, y_{i})

$(x_i, y_i)$

{\hat{x}}_{i} = x_{i}

$\hat {x}_i= x_i$

{\hat{y}}_{i} = 0

$\hat {y}_i=0$

z_{i} = x_{i}

$z_i=x_i$

X

$X$

Y

$Y$

— 確率論的

これらの変数の線形結合を選択するとしましょう。たとえば、場合、これが記述するデータの分散を計算できますか？ $A+2B+5C$

この質問は2つの異なる方法で理解でき、2つの異なる答えにつながります。

線形結合はベクトルに対応します。これは、例ではです。このベクトルは、元の変数の6D空間の軸を定義します。あなたが求めているのは、この軸への投影がどれだけ「説明」するかということです。答えは、この投影からの元のデータの「再構成」という概念を介して与えられ、再構成エラーを測定します（説明されていない分散率に関するウィキペディアを参照）。結局のところ、この再構築は2つの異なる方法で合理的に実行でき、2つの異なる答えが得られます。 $[1, 2, 5, 0, 0, 0]$

アプローチ＃1

ましょうであります中央のデータセット（行がサンプルに対応し、列が変数に対応します）、をその共分散行列、を単位ベクトルとしますデータセットの合計分散は、すべての分散の合計、つまり共分散行列のトレースです：。問題は、のどの割合が行うかです。 $\newcommand{\S}{\boldsymbol \Sigma} \newcommand{\w}{\mathbf w} \newcommand{\v}{\mathbf v}\newcommand{\X}{\mathbf X} \X$ $n$ $d$ $\S$ $\w$ $\mathbb R^d$ $d$ $T = \mathrm{tr}(\S)$ $T$ $\w$ 説明する？@todddelucaと@probabilityislogicによって与えられる2つの答えは両方とも次と同等です：投影を計算し、その分散を計算してで除算します： $\X \w$ $T$

R_{f i r s t}^{2} = \frac{V a r (X w)}{T} = \frac{w^{⊤} Σ w}{t r (Σ)} .

$R^2_\mathrm{first} = \frac{\mathrm{Var}(\X \w)}{T} = \frac{\w^\top \S \w}{\mathrm{tr}(\S)}.$

これは、たとえば@probabilityislogicが再構成を考慮してからを計算することを提案しているため、すぐには明らかではないかもしれませんただし、代数が少ない場合、これは同等の式であることが示されます。 $\X \w \w^\top$

\frac{‖ X ‖^{2} - ‖ X - X w w^{⊤} ‖^{2}}{‖ X ‖^{2}},

$\frac{\|\X\|^2 - \|\X-\X \w \w^\top\|^2}{\|\X\|^2},$

アプローチ＃2

はい。次の例を考えてみましょう。は、共分散行列と持つデータセットです。は単なるベクトルです。 $\X$ $d=2$

Σ = (\begin{matrix} 1 & 0.99 \\ 0.99 & 1 \end{matrix})

$\S = \left(\begin{array}{c}1&0.99\\0.99&1\end{array}\right)$

w = (\begin{matrix} 1 & 0 \end{matrix})^{⊤}

$\mathbf w = (\begin{array}{}1&0\end{array})^\top$

x

$x$

分散の説明

合計分散はです。への投影の分散（赤い点で表示）は等しくなります。したがって、上記のロジックによれば、説明された分散は等しくなります。ある意味では、赤い点（「再構成」）は対応する青い点から遠く離れているため、分散の多くは「失われています」。 $T=2$ $\w$ $1$ $1/2$

一方、2つの変数は相関関係があるため、ほとんど同じです。そのうちの1つが合計分散ののみを記述すると言うのは奇妙です。なぜなら、それぞれには2番目の「ほぼすべての情報」が含まれているからです。次のように我々はそれを形式化することができます：投影与え可能な限り最高の復興見つける、と必ずしも同じ、そしてその後、再構成誤差を計算しに差し込み説明された分散の割合の式：ここでは次のように選択されます。 $0.99$ $50\%$ $\X\w$ $\X\w\v^\top$ $\v$ $\w$

R_{s e c o n d}^{2} = \frac{‖ X ‖^{2} - ‖ X - X w v^{⊤} ‖^{2}}{‖ X ‖^{2}},

$R^2_\mathrm{second}=\frac{\|\X\|^2 - \|\X-\X \w \v^\top\|^2}{\|\X\|^2},$

v

$\v$

‖ X - X w v^{⊤} ‖^{2}

$\|\X-\X \w \v^\top\|^2$ は最小です（つまり、は最大です）。これは、次元投影から元のデータセット予測する多変量回帰のを計算することとまったく同じです。

R^{2}

$R^2$

R^{2}

$R^2$

X

$\X$

1

$1$

X w

$\X\w$

式全体が単純化されることを見つけるために回帰解を使用するのは簡単な代数の問題です上記の例では、これはに等しく、妥当と思われます。 $\v$

R_{s e c o n d}^{2} = \frac{‖ Σ w ‖^{2}}{w^{⊤} Σ w \cdot t r (Σ)} .

$R^2_\mathrm{second}=\frac{\|\S \w\|^2}{\w^\top \S \w \cdot \mathrm{tr}(\S)}.$

0.9901

$0.9901$

がの固有ベクトルの1つである場合、つまり固有値を持つ主軸の1つである場合（したがって）、を計算する両方のアプローチに注意してください。一致し、おなじみのPCA式 $\w$ $\S$ $\lambda$ $\S \w = \lambda \w$ $R^2$

R_{P C A}^{2} = R_{f i r s t}^{2} = R_{s e c o n d}^{2} = λ / t r (Σ) = λ / \sum λ_{i} .

$R^2_\mathrm{PCA} = R^2_\mathrm{first} = R^2_\mathrm{second} = \lambda/\mathrm{tr}(\S) = \lambda/\sum \lambda_i.$

PS。が基底ベクトルの1つであるという特殊なケースへの派生式の適用については、私の回答を参照してください：単一の変数によって説明されるデータの分散。 $\w$

付録。の式の導出 $R^2_\mathrm{second}$

再構成を最小化するを見つけるは回帰問題です（は単変量予測子、は多変量応答）。その解は $\v$ $\|\X-\X \w \v^\top\|^2$ $\X \w$ $\X$

v^{⊤} = {((X w)^{⊤} (X w))}^{- 1} (X w)^{⊤} X = (w^{⊤} Σ w)^{- 1} w^{⊤} Σ .

$\v^\top = \left((\X \w)^\top (\X \w)\right)^{-1}(\X \w)^\top \X = (\w^\top \S \w)^{-1} \w^\top \S.$

次に、式はピタゴラスの定理により、回帰のハット行列は正射影（ただし、直接表示するのも簡単です）。 $R^2$

R^{2} = \frac{‖ X ‖^{2} - ‖ X - X w v^{⊤} ‖^{2}}{‖ X ‖^{2}} = \frac{‖ X w v^{⊤} ‖^{2}}{‖ X ‖^{2}}

$R^2=\frac{\|\X\|^2 - \|\X-\X \w \v^\top\|^2}{\|\X\|^2} = \frac{\|\X \w \v^\top\|^2}{\|\X\|^2}$

ここでの方程式を差し込むと、分子について次のようになります。 $\v$

‖ X w v^{⊤} ‖^{2} = t r (X w v^{⊤} (X w v^{⊤})^{⊤}) = t r (X w w^{⊤} Σ Σ w w^{⊤} X^{⊤}) / (w^{⊤} Σ w)^{2} = t r (w^{⊤} Σ Σ w) / (w^{⊤} Σ w) = ‖ Σ w ‖^{2} / (w^{⊤} Σ w) .

$\|\X \w \v^\top\|^2 = \mathrm{tr}\left(\X \w \v^\top (\X \w \v^\top)^\top\right) = \mathrm{tr}(\X\w\w^\top\S\S\w\w^\top\X^\top)/(\w^\top\S\w)^2=\mathrm{tr}(\w^\top\S\S\w)/(\w^\top\S\w) = \|\S\w\|^2 / (\w^\top\S\w).$

分母はと等しくなり、上記の式が得られます。 $\|\X\|^2 = \mathrm{tr}(\S)$

— アメーバはモニカを復活させると言う
ソース

これは別の質問に対する答えだと思います。たとえば、 wrtを最適化すると、最初のPCが一意の答えとして返されるわけではありません（一意である場合）。事実とときに100％を与えるの両方証拠は十分です。提案された方法は、PCAの「正規化された」目的関数が常に説明された分散を過小評価することを前提としているようです（PCAで最適化される量で正規化されるため、正規化されたPCA目的関数ではありません）。

R^{2}

$R^2$

w

$w$

(1, 0)

$(1,0)$

\frac{1}{\sqrt{2}} (1, 1)

$\frac {1}{\sqrt {2}}(1,1)$

X = Y

$X=Y$

— 確率論的

私たちの答えはさまざまな質問に対するものであることに同意しますが、どのOPを念頭に置いていたかは明確ではありません。また、私の解釈は非常に奇妙なものではないことに注意してください。これは標準的な回帰アプローチですがそのように分散を説明すると言うとき、再構成誤差を計算しますだけでなく、最適な。ここに別の引数があります：変数がすべて標準化されている場合、アプローチではそれぞれがの分散量を説明します。これはあまり有益ではありません。一部の変数は他の変数よりもはるかに予測可能です！私のアプローチはそれを反映しています。

x

$x$

y

$y$

‖ y - x b ‖

$\|y-xb\|$

b

$b$

‖ y - x ‖

$\|y-x\|$

n

$n$

1 / n

$1/n$

— アメーバは、モニカを復活させると言います

@amoeba（+1）すばらしい答えです。本当に役に立ちます！この問題に取り組む参考資料をご存知ですか？ありがとう！

— -PierreE

@PierreEありがとう。いいえ、私はそのための参照を持っているとは思わない。

— アメーバは、モニカーを復活させる

ベクトルのデータセットの合計分散を、データセットのベクトルとデータセットの平均ベクトル間の二乗誤差（SSE）の合計とするここで、はデータセットの平均ベクトル、はデータセットのi番目のベクトル、は2つのベクトルのドット積です。。別の言い方をすれば、設定した場合、合計分散は各とその予測値間のSSE です。 $T$

T = \sum_{i} (x_{i} - \bar{x}) \cdot (x_{i} - \bar{x})

$T = \sum_{i} (x_i-\bar{x}) \cdot (x_i-\bar{x})$

\bar{x}

$\bar{x}$

x_{i}

$x_i$

\cdot

$\cdot$

x_{i}

$x_i$

f (x_{i})

$f(x_i)$

f (x_{i}) = \bar{x}

$f(x_i)=\bar{x}$

今の予測せ、ベクトルの投影である、単位ベクトル上に。 $x_i$ $f(x_i)$ $x_i$ $c$

f_{c} (x_{i}) = (c \cdot x_{i}) c

$f_c(x_i) = (c \cdot x_i)c$

次いで所与のためにある $SSE$ $c$

S S E_{c} = \sum_{i} (x_{i} - f_{c} (x_{i})) \cdot (x_{i} - f_{c} (x_{i}))

$SSE_c = \sum_i (x_i - f_c(x_i)) \cdot (x_i - f_c(x_i))$

を最小化するためにを選択した場合、が最初の主成分であると思います。 $c$ $SSE_c$ $c$

代わりにをベクトルの正規化バージョン場合、は予測子としてを使用して記述されたデータの分散です。 $c$ $(1, 2, 5, ...)$ $T-SSE_c$ $c$

— トッドデルカ
ソース

これは合理的なアプローチですが、これは質問を解釈する最良の方法ではないと思います。私がより理にかなっていると主張する代替アプローチについての私の答えを参照してください（特に、そこに私の例の図を参照してください）。

— アメーバは、モニカを復活させる

X = Y

$X=Y$

X

$X$

50 %

$50\%$

100 %

$100\%$

— アメーバは、モニカを復活させる

主成分分析の「後方」：データの分散は、変数の与えられた線形結合によってどの程度説明されますか？

アプローチ＃1

アプローチ＃2

付録。の式の導出R2secondRsecond2R^2_\mathrm{second}

付録。の式の導出 $R^2_\mathrm{second}$