サブジェクト（デュアル）スペースでのPCAの幾何学的理解

私は、主成分分析（PCA）がサブジェクト（デュアル）スペースでどのように機能するかを直感的に理解しようとしています。

2つの変数と、およびデータポイント（データ行列はあり、中心にあると想定される）を含む2Dデータセットを考えます。PCAの通常の表現は、点を考慮し、共分散行列を書き留め、その固有ベクトルと固有値を見つけることです。最初のPCは最大分散の方向などに対応します。これは共分散行列です。赤い線は、それぞれの固有値の平方根でスケーリングされた固有ベクトルを示しています。 $x_1$ $x_2$ $n$ $\mathbf X$ $n\times 2$ $n$ $\mathbb R^2$ $2\times 2$ $\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)$

$\hskip 1in$

次に、デュアルスペース（機械学習で使用される用語）とも呼ばれる、対象空間（@ttnphnsからこの用語を学びました）で何が起こるかを考えます。これは、2つの変数のサンプル（ 2列）が2つのベクトルおよび形成する次元空間です。各可変ベクトルの長さの2乗はその分散に等しく、2つのベクトル間の角度のコサインはそれらの間の相関に等しくなります。ちなみに、この表現は重回帰の処理において非常に標準的です。私の例では、対象空間は次のようになります（2つの変数ベクトルにまたがる2D平面のみを表示しています）。 $n$ $\mathbf X$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

2つの変数の線形結合である主成分は、同じ平面で2つのベクトルおよびします。私の質問は、そのようなプロットで元の変数ベクトルを使用して主成分変数ベクトルを形成する方法の幾何学的な理解/直感は何ですか？と与えられた場合、を生成する幾何学的な手順は何ですか？ $\mathbf p_1$ $\mathbf p_2$ $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$

以下は私の現在の部分的な理解です。

まず、標準的な方法で主成分/軸を計算し、同じ図にプロットします。

$\hskip 1in$

また、は、（青いベクトル）と上の投影の距離の二乗の合計が最小になるように選択されていることに注意できます。これらの距離は再構成エラーであり、黒い破線で示されています。同様に、は、両方の投影の長さの2乗の合計を最大化します。これは、を完全に指定し、もちろん、プライマリ空間での同様の説明に完全に類似しています（主成分分析、固有ベクトル、固有値の理解に対する私の回答のアニメーションを参照）。こちらの@ttnphnsの回答の最初の部分もご覧ください。 $\mathbf p_1$ $\mathbf x_i$ $\mathbf p_1$ $\mathbf p_1$ $\mathbf p_1$

ただし、これは十分な幾何学的ではありません！そのようなを見つける方法は教えてくれず、その長さも指定していません。 $\mathbf p_1$

私の推測では、、、、およびすべて、を中心とする1つの楕円上にあり、およびが主軸です。これが私の例でどのように見えるかです： $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$ $\mathbf p_2$ $0$ $\mathbf p_1$ $\mathbf p_2$

$\hskip 1in$

Q1：それを証明する方法は？直接の代数的デモンストレーションは非常に退屈なようです。これが事実でなければならないことをどのように確認しますか？

しかし、を中心としてとを通過するさまざまな楕円があります。 $0$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

Q2：「正しい」楕円を指定するものは何ですか？私の最初の推測は、それが可能な限り最長の主軸を持つ楕円だということでした。しかし、それは間違っているようです（任意の長さの主軸を持つ楕円があります）。

Q1とQ2に対する回答がある場合、それらが3つ以上の変数の場合に一般化されるかどうかも知りたいです。

— アメーバはモニカを復活させると言う
ソース

原点（x1とx2が交差する場所）を中心とし、x1とx2の遠端と接触する可能性のある多くの楕円があるのは本当ですか？私は1つしかないと思っていただろう。確かに、これらの3つの基準（中央、および2つの終了）のうち1つを緩和すると、多くの可能性があります。

— GUNG -復活モニカ

2つのベクトルを通る原点を中心とした楕円がたくさんあります。ただし、非共線ベクトルおよび場合、双対基底の単位円であるのは1つだけです。これは、の軌跡です。ここで、その主軸から多くを学ぶことができます。

(a, b)

$(a,b)$

(c, d)

$(c,d)$

x (a, b) + y (c, d)

$x(a,b)+y(c,d)$

{| {(\begin{matrix} a & c \\ b & d \end{matrix})}^{- 1} (\begin{matrix} x \\ y \end{matrix}) |}^{2} = 1.

$\left|\pmatrix{a&c\\b&d}^{-1}\pmatrix{x\\y}\right|^2=1.$

— whuber

variable space (I borrowed this term from ttnphns)-@amoeba、あなたは間違っているに違いない。（元々）n次元空間内のベクトルとしての変数はサブジェクト空間と呼ばれます（軸としてのnサブジェクトは空間を「定義」し、p変数はそれを「スパン」します）。反対に、可変空間は逆です。つまり、通常の散布図です。これが、多変量統計で用語が確立される方法です。（機械学習で異なる場合-私はそれを知らない-それからさらに悪いことは学習者のためです。）

— ttnphns

両方ともベクトル空間であることに注意してください。ベクトル（=ポイント）はスパンを表し、軸は方向を定義し、測定ノッチをもたらします。弁証法にも注意してください：両方の「スペース」は実際には同じスペースです（現在の目的のためにのみ異なって定式化されています）。たとえば、この答えの最後の写真で見られます。2つの定式化を重ねると、バイプロットまたはデュアルスペースが得られます。

— ttnphns

My guess is that x1, x2, p1, p2 all lie on one ellipseここで楕円からの発見的援助は何でしょうか？疑わしい。

— ttnphns

質問に表示されるすべてのサマリーは、その2番目の瞬間にのみ依存します。または、同等に、行列。を点群と考えているため- 各点は行です- これらの点に対する簡単な操作で、のプロパティを保持するものを尋ねる場合があります。 $\mathbf X$ $\mathbf{X^\prime X}$ $\mathbf X$ $\mathbf X$ $\mathbf{X^\prime X}$

1つは、に行列を左乗算することです。これにより、別の行列ます。これが機能するためには、それが不可欠です $\mathbf X$ $n\times n$ $\mathbf U$ $n\times 2$ $\mathbf{UX}$

X^{'} X = (U X)^{'} U X = X^{'} (U^{'} U) X .

$\mathbf{X^\prime X} = \mathbf{(UX)^\prime UX} = \mathbf{X^\prime (U^\prime U) X}.$

が単位行列である場合、つまりが直交する場合、等価性が保証されます。 $\mathbf{U^\prime U}$ $n\times n$ $\mathbf{U}$

これはよく知られている（かつ簡単に実証するために）直交行列はユークリッド反射及び回転の製品が（それらが形成する反射基で）。回転を賢く選択することで、劇的に単純化できます。1つのアイデアは、一度にクラウド内の2つのポイントのみに影響する回転に焦点を当てることです。これらは視覚化できるため、特に単純です。 $\mathbb{R}^n$ $\mathbf{X}$

具体的には、およびクラウド内の2つの異なる非ゼロポイントとし、行およびを構成します。これら2つのポイントのみに影響する列スペースの回転は、それらを $(x_i, y_i)$ $(x_j, y_j)$ $i$ $j$ $\mathbf{X}$ $\mathbb{R}^n$

{\begin{cases} (x_{i}^{'}, y_{i}^{'}) = (\cos (θ) x_{i} + \sin (θ) x_{j}, \cos (θ) y_{i} + \sin (θ) y_{j}) \\ (x_{j}^{'}, y_{j}^{'}) = (- \sin (θ) x_{i} + \cos (θ) x_{j}, - \sin (θ) y_{i} + \cos (θ) y_{j}) . \end{cases}

$\cases{(x_i^\prime, y_i^\prime) = (\cos(\theta)x_i + \sin(\theta)x_j, \cos(\theta)y_i + \sin(\theta)y_j) \\ (x_j^\prime, y_j^\prime) = (-\sin(\theta)x_i + \cos(\theta)x_j, -\sin(\theta)y_i + \cos(\theta)y_j).}$

これは、平面内でベクトルおよびをし、それらを角度だけ回転させることです。（ここで座標がどのように混ざり合うかに注意してください！がお互いに行き、が一緒に行きます。したがって、でのこの回転の効果は通常、描かれたベクトルおよび） $(x_i, x_j)$ $(y_i, y_j)$ $\theta$ $x$ $y$ $\mathbb{R}^n$ $(x_i, y_i)$ $(x_j, y_j)$ $\mathbb{R}^2$

適切な角度を選択することにより、これらの新しいコンポーネントのいずれかをゼロにすることができます。具体的には、選択して、 $\theta$

{\begin{cases} \cos （ θ ） = \pm \frac{{バツ}_{私}}{\sqrt{{バツ}_{私}^{2} + {バツ}_{j}^{2}}} \\ 罪 （ θ ） = \pm \frac{{バツ}_{j}}{\sqrt{{バツ}_{私}^{2} + {バツ}_{j}^{2}}} \end{cases} 。

$\cases{\cos(\theta) = \pm \frac{x_i}{\sqrt{x_i^2 + x_j^2}} \\ \sin(\theta) = \pm \frac{x_j}{\sqrt{x_i^2 + x_j^2}}}.$

これにより、ます。記号を選択してます。、表されるクラウド内のポイントおよびを変更するこの操作を呼び出しましょう。 $x_j^\prime=0$ $y_j^\prime \ge 0$ $i$ $j$ $\mathbf X$ $\gamma(i,j)$

再帰的に適用にの最初の列になりますのみに非ゼロであることが最初の行。幾何学的には、雲の1点を除くすべてを軸に移動します。今、我々は潜在的座標を含む、単一の回転を適用することができるで、それらの圧搾する単一点までポイント。同様に、はブロック形式に縮小されました $\gamma(1,2), \gamma(1,3), \ldots, \gamma(1,n)$ $\mathbf{X}$ $\mathbf{X}$ $y$ $2, 3, \ldots, n$ $\mathbb{R}^n$ $n-1$ $X$

バツ = （ \begin{matrix} {バツ}_{1}^{'} & y_{1}^{'} \\ 0 & z \end{matrix} ） 、

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ \mathbf{0} & \mathbf{z}},$

及びの両方列ベクトル座標を、そのような方法という点で $\mathbf{0}$ $\mathbf{z}$ $n-1$

{バツ}^{'} バツ = （ \begin{matrix} {（ {バツ}_{1}^{'} ）}^{2} & {バツ}_{1}^{'} y_{1}^{'} \\ {バツ}_{1}^{'} y_{1}^{'} & {（ y_{1}^{'} ）}^{2} + | | z | |^{2} \end{matrix} ） 。

$\mathbf{X^\prime X} = \pmatrix{\left(x_1^\prime\right)^2 & x_1^\prime y_1^\prime \\ x_1^\prime y_1^\prime & \left(y_1^\prime\right)^2 + ||\mathbf{z}||^2}.$

この最終回転により、が上三角形式にさらに縮小されます。 $\mathbf{X}$

バツ = （ \begin{matrix} {バツ}_{1}^{'} & y_{1}^{'} \\ 0 & | | z | | \\ 0 & 0 \\ ⋮ & ⋮ \\ 0 & 0 \end{matrix} ） 。

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}|| \\ 0 & 0 \\ \vdots & \vdots \\ 0 & 0}.$

実際には、作成されたはるかに単純な行列に関して理解できるようになりました。最後の2つのゼロ以外の点が残っていることで $\mathbf{X}$ $2\times 2$ $\pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}||}$

例として、2変量正規分布から4つのiidポイントを引き出し、それらの値を

バツ = （ \begin{matrix} 0.09 & 0.12 \\ - 0.31 & - 0.63 \\ 0.74 & - 0.23 \\ - 1.8 & - 0.39 \end{matrix} ）

$\mathbf{X} = \pmatrix{ 0.09 & 0.12 \\ -0.31 & -0.63 \\ 0.74 & -0.23 \\ -1.8 & -0.39}$

この最初の点群は、次の図の左側に黒い実線のドットを使用して示されており、色付きの矢印が原点から各ドットを指します（ベクトルとして視覚化するため）。

これらのポイントに対しておよびによって実行される一連の操作により、中央に雲が表示されます。右端では、軸に沿った3つの点が1つの点に合体されており、縮小形の表現が残っています。赤い垂直ベクトルの長さは; もう1つの（青い）ベクトルはです。 $\gamma(1,2), \gamma(1,3),$ $\gamma(1,4)$ $y$ $\mathbf X$ $||\mathbf{z}||$ $(x_1^\prime, y_1^\prime)$

5つのパネルすべてで参照用に描かれたかすかな点線の形状に注意してください。 それは表現の最後の残りの柔軟性を表し： $\mathbf X$ 我々は最初の2つの行を回転させると、最後の二つのベクトルは、この楕円を描きます。したがって、最初のベクトルはパスを追跡します

\begin{matrix} （1） & θ \to （ \cos （ θ ） {バツ}_{1}^{'} 、 \cos （ θ ） y_{1}^{'} + 罪 （ θ ） | | z | | ） \end{matrix}

$\theta\ \to\ (\cos(\theta)x_1^\prime, \cos(\theta) y_1^\prime + \sin(\theta)||\mathbf{z}||)\tag{1}$

一方、2番目のベクトルは、

\begin{matrix} （2） & θ \to （ - 罪 （ θ ） {バツ}_{1}^{'} 、 - 罪 （ θ ） y_{1}^{'} + \cos （ θ ） | | z | | ） 。 \end{matrix}

$\theta\ \to\ (-\sin(\theta)x_1^\prime, -\sin(\theta) y_1^\prime + \cos(\theta)||\mathbf{z}||).\tag{2}$

この曲線は点の集合の画像であるため、退屈な代数を避けることができますによって決定される線形変換の下で $\{(\cos(\theta), \sin(\theta))\,:\, 0 \le \theta\lt 2\pi\}$

（ 1 、 0 ） \to （ {バツ}_{1}^{'} 、 0 ）; （ 0 、 1 ） \to （ y_{1}^{'} 、 | | z | | ） 、

$(1,0)\ \to\ (x_1^\prime, 0);\quad (0,1)\ \to\ (y_1^\prime, ||\mathbf{z}||),$

楕円でなければなりません。（質問2は現在完全に回答されています。）したがって、パラメーター化には 4つの重要な値があり、そのうち2つは長軸の端に対応し、2つは短軸の端に対応します。そして、その直後に、同時にはそれぞれ短軸と長軸の端を与えます。このようなを選択すると、次のように、ポイントクラウド内の対応するポイントが主軸の端に配置されます。 $\theta$ $(1)$ $(2)$ $\theta$

これらは直交しており、楕円の軸に沿って向けられているため、PCAソリューションである主軸を正しく表します。それは質問1に答えます。

ここで与えられた分析は、マハラノビス距離の下から上への説明で私が答えたものを補完します。そこで、回転と再スケーリングを調べて、次元の点群が自然な座標系を幾何学的に決定する方法を説明しました。ここでは、線形変換下の円の画像である楕円を幾何学的に決定する方法を示しました。もちろん、この楕円は一定のマハラノビス距離の等高線です。 $\mathbb{R}^2$ $p=2$ $\mathbb{R}^2$

この分析によって達成されるもう1つのことは、QR分解（長方形行列の）と特異値分解（SVD ）との密接な関係を表示することです。として知られているギブンス回転。それらの構成は、QR分解の直交部分または「」部分を構成します。残ったもの-の縮小形は、上三角、またはQR分解の「」部分です。同時に、回転と再スケーリング（他のポストの座標の再ラベル付けとして説明）は、SVD の部分を構成します。 $\gamma(i,j)$ $Q$ $\mathbf{X}$ $R$ $\mathbf{D}\cdot \mathbf{V}^\prime$ $\mathbf{X} = \mathbf{U\, D\, V^\prime}$ 。ちなみに、の行は、その投稿の最後の図に表示される点群を形成します。 $\mathbf{U}$

最後に、ここで紹介する分析は、場合に明らかな方法で一般化しています。つまり、主成分が1つまたは2つ以上の場合です。 $p\ne 2$

— ウーバー
ソース

あなたの答えはそれ自体で模範的なものかもしれませんが、それは質問とどのように関連するのか-私には-不明です。データクラウドX について話しています（そして、回転するベクトルはデータポイント、Xの行です）。しかし、問題は、対象空間の縮小に関するものでした。つまり、データXはなく、2x2の共分散または散布行列X'Xしかありません。

— ttnphns

（続き）2つの変数を、長さ= sqrt（対角要素）および角度=それらの相関関係を持つ2つのベクトルとして要約します。次に、OPは、主成分を純粋に幾何学的に解く方法を尋ねます。言い換えれば、OP は2x2対称共分散行列の幾何学的固有分解（固有値と固有ベクトル、またはより適切な負荷）を説明したいと考えています。

— ttnphns

（続き）は、第2の画像に見てくださいが。現在の質問のOPが求めるものは、与えられたベクトルXとYだけを持ち、そのpicにベクトルP1とP2を描く幾何学的（三角法など）ツールまたはトリックを見つけることです。

— ttnphns

@ttnphns。出発点が何であるかは関係ありません。この答えの前半では、任意の点群をに関するすべての情報を含む点のペアに縮小できることが示されています。後半は、ポイントのペアが一意ではないことを示していますが、それでも各ポイントは同じ楕円上にあります。それは始まるその楕円の明示的な構造が得られる任意の二点表現このような問題に示す青ベクトルのペアとしての）。その主軸と副軸は、PCAソリューション（赤ベクトル）を生成します。

X

$\mathbf{X}$ $\mathbf{X^\prime X}$

X^{'} X

$\mathbf{X^\prime X}$

— whuber

ありがとう、私はあなたの考えを理解し始めています。（読者のために構造化するためだけに、その2つの「半分」についての回答に字幕/概要を追加してほしい。）

— ttnphns