PCA固有ベクトルが直交している理由と、PCAスコアとの相関関係は何ですか？

私はPCAについて読んでいますが、固有ベクトルは直交である必要があるという前提と、相関関係のない投影（PCAスコア）との関係を除いて、派生に関して何が起こっているのかを理解していますか？以下に、直交性と相関関係のリンクを使用する2つの説明がありますが、実際には説明できません：ONE、TWO。

2番目の図では、投影がと無相関になるように、条件が課されていることをます。直交ベクトルが無相関変数を保証する理由を示す例を誰かが提供できますか？ $a_{2}^{T}a_{1}=0$ $y_{2}=Xa_2$ $y_{1}=Xa_1$

直交していないベクトルを選択した場合、PCAで何が起こりますか。これは可能ですか？直交性は、共分散行列が対称的であることの副産物であることを別の場所で読んだことがあります。これは、非ペアワイズ直交固有ベクトルを持つことが不可能であることを示唆します。ただし、最も「適切な」行列を探す最初の図では、を直交に選択して、より便利な行列選択しているように見えます。素敵な特性を持っています。 $p_{1},\ldots,p_{m}$ $\textbf{P}$

私はこのトピックに関する他の投稿を読みましたが、無相関変数による直感の組み込みには満足できません。私はこの混乱を理解する助けを本当に感謝します!!

mathematical-statistics pca eigenvalues

— パヴァン・サンガ
ソース

中心化されたベクトルの内積は常にそれらの共分散に比例し、それは次にそれらの相関に比例します。これは即時です。3つすべての式は、ゼロ以外の定数まで同じです。したがって、他のいずれかがゼロの場合に限り、1はゼロです。

— whuber

@whuberあなたは質問を誤解していると思います：OPは、PCA 固有ベクトルの直交性がこれらの固有ベクトルへのデータ投影のゼロ相関をどのように意味するかを尋ねています。

— amoeba

@Amoeba私はさらに私を神秘化することを恐れています。ベクトルが直交する場合には、なおさら、これらのベクターの任意の突起は直交でなければなりません。私が回答していた質問は、「直交ベクトルが無相関変数を保証する理由を誰かが示す例を提供できますか」です。それはなぜ直交性が相関の欠如を意味するのかを尋ねるように思われます。

— whuber

@whuber「ベクトルが直交している場合、それらのベクトルのすべての投影は直交でなければならない」とはどういう意味ですか？ここには誤解があります。ゼロ以外の相関を持つ2変量データを取得します。ベクトル[0,1]と[1,0]（基底ベクトル）は直交していますが、これらのベクトルへのデータ投影は相関しています。

— amoeba

@Amoeba私はあなたが正しいと確信しています。私たちもあなたの言っていることについて2つの異なる理解があると確信しています！あなたがベクトルプロジェクト場合ベクトル上にとベクトル上にとと直交している場合、投影があまりにも直交することになります。代わりに、をによって生成されたベクトル空間に投影する場合、当然、投影は直交である必要はありません。これらの些細なことは議論する価値はありません。私たちの最初の懸念は、質問が実際に何を求めているのかを明確にすることです。

p_{1}

$p_1$

v

$v$

p_{2}

$p_2$

w

$w$

v

$v$

w

$w$

p_{i}

$p_i$ $\{v,w\}$

— whuber

回答:

と直交性が、とが無相関であることをどのように保証するかを説明しようと思います。を最大化する必要があります。これは、を制約しない限り、この場合はによって達成されません。この最適化では、ラグランジュ乗数を使用する必要があります（それほど複雑ではありません。ウィキペディアでそれについて読んでください）。したがって、と両方に関して、を最大化しようとします。に関する微分 $a_1$ $a_2$ $y_1$ $y_2$ $a_1$ $Var(y_1)=a_1^T \Sigma a_1$ $a_1$ $a_1^T a_1=1$

a_{1}^{T} Σ a_{1} - λ (a_{1}^{T} a_{1} - 1)

$\begin{equation} a_1^T \Sigma a_1 - \lambda(a_1^T a_1-1) \end{equation}$

a_{1}

$a_1$

λ

$\lambda$

λ

$\lambda$ そして等しいとすると、制約ます。に関する微分はまたは分散に最大の固有値によって最大化されます。したがって、ます。ここにあなたの質問に答える部分があります。共分散の定義を使用したいくつかの基本的な計算では、

0

$0$

a_{1}^{T} a_{1} = 1

$a_1^T a_1=1$

a_{1}

$a_1$

Σ a_{1} - λ a_{1} = 0

$\begin{equation} \Sigma a_1 -\lambda a_1 =0 \end{equation}$

(Σ - λ I_{p}) a_{1} = 0

$\begin{equation} (\Sigma -\lambda I_p)a_1=0 \end{equation}$

y_{1}

$y_1$

λ_{1}

$\lambda_1$

λ_{1} a_{1} = Σ a_{1}

$\lambda_1 a_1=\Sigma a_1$

C o v (y_{1}, y_{2}) = C o v (a_{1}^{T} x, a_{2}^{T} x) = a_{1}^{T} Σ a_{2} = a_{2}^{T} Σ a_{1} = a_{2}^{T} λ_{1} a_{1} = λ_{1} a_{2}^{T} a_{1}

$\begin{equation} Cov(y_1,y_2)=Cov(a^T_1 x,a^T_2 x)=a^T_1\Sigma a_2=a^T_2\Sigma a_1=a^T_2\lambda_1 a_1=\lambda_1 a^T_2 a_1 \end{equation}$ これは等しくなりますの場合に限り。

0

$0$

a_{2}^{T} a_{1} = 0

$a^T_2 a_1=0$

— バナニン
ソース

PCAは、データの共分散行列の固有ベクトルを計算することによって機能します。つまり、これらの固有ベクトルは、方程式を最大化し、本に記載されている制約を満たすの選択に対応しています。異なるベクトルを選択した場合、それらはそれらの基準すべてに適合せず、PCAでもなくなります（まだ多くの「コンポーネント」が見つかりますが、「プリンシパル」ではなくなります）。 $a_{1:M}$

固有ベクトルは正方行列から計算でき、直交している必要はありません。ただし、適切な共分散行列は対称であり、対称行列は直交固有ベクトルを持っているため、PCAは常に直交成分になります。

との直交性は、という要件だけからはなく、すべての制約から一緒に続きます。データが表現される元の基底も直交しているため、と直交性が十分でない理由は簡単にわかります。たとえば、2次元では、とあり、データは明らかに必要ありませんそれらの次元に沿って無相関であること（そうであった場合、PCAはスケーリング係数まで、元の基底を返すだけです）。 $y_1$ $y_2$ $a_1^Ta_2=0$ $a_1$ $a_2$ $\mathbf{b}$ $b_1=\begin{bmatrix}1\\ 0 \end{bmatrix}$ $b_2=\begin{bmatrix}0\\ 1 \end{bmatrix}$

文章は少しぎこちなく表現されていますが、「which」の「which」は、前に出てきた節全体を指していると思います。

— ルーベンファンベルゲン
ソース

素晴らしい投稿をありがとう、私はあなたが2つのポイント、との直交性をどのように条件が保証するか、そして2.どのように直交性が変数につながるかを詳しく説明できると私は完全に理解すると思います。無相関ですか？多分証明または例によって？

y_{1}

$y_{1}$

y_{2}

$y_{2}$

— Pavan Sangha 2017年