PCAの線形性

35

ただし、PCAは線形手順と見なされます。

P C A (X) \neq P C A (X_{1}) + P C A (X_{2}) + \dots + P C A (X_{n}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

ここで。これは、データ行列 PCAによって取得された固有ベクトルが、データ行列合計でPCAによって取得された固有ベクトルに等しくならないということです。しかし、線形関数定義は次のことではありません。 $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (x + y) = f (x) + f (y) ?

$f(x+y)=f(x)+f(y)?$

では、PCAがこの非常に基本的な線形性の条件を満たさない場合、なぜ「線形」と見なされるのでしょうか。

pca linear

— アルファオメガ
ソース

PCAは変数間の線形依存関係に依存しているため、「線形プロシージャファミリに属している」と書いた、または聞いたことがあります（申し訳ありませんが、いつどこで思い出すことができません）。ピアソン相関行列を使用して、最高の分散の線形結合を探します。

— ルカシュDeryło

4

この質問の性質は、通常の最小二乗回帰のはるかに単純で日常的な設定を検討することにより、少し明確になるかもしれません。これは線形統計手順の原型です。それにもかかわらず、最小二乗係数を推定するプロセスは、式証明されるように、データ行列明らかに非線形関数です。（応答ベクトル線形関数であることに注意してください。）

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

f（x）= x + 1も「線形関数」であることを覚えておく価値があるかもしれません...しかし、それはあなたが言ったことを満たさない...何かを説明する必要があります。

— Mehrdad

それは、

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— ガブリエルロモン

39

PCAが線形法であると言うとき、高次元空間から低次元空間へのマッピングを縮小する次元を指します。PCAでは、このマッピングはにPCA固有ベクトルの行列を乗算することで与えられるため、明らかに線形です（行列の乗算は線形です）：これは、次元削減の非線形手法とは対照的であり、次元削減のマッピングは非線形にすることができます。 $f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

z = f (x) = V^{⊤} x .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

一方、固有ベクトルは、データ行列、あなたの質問の：そしてこのマッピングは確かに非線形です：それは共分散行列の固有ベクトルの計算を含み、これは非線形手続きです。（簡単な例として、に掛けると、共分散行列が増えますが、その固有ベクトルは、単位長さを持つように正規化されたままです。） $k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = P C A (X),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$

4

$4$

— アメーバはモニカを復活させると言う
ソース

この些細な答えに対して35の賛成票を得たというのは、とんでもないことです（そして、このスレッドがしばらくの間、Hot Network Questionsにあったことが主な原因です）。

— アメーバは、モニカを復活させる

5

「線形」は多くのことを意味する可能性があり、正式な方法でのみ使用されるわけではありません。

PCAは、正式な意味での関数として定義されないことが多く、したがって、そのように記述された場合、線形関数の要件を満たすことは期待されません。あなたが言ったように、それは手順として、そして時にはアルゴリズムとして、より頻繁に記述されます（この最後のオプションは好きではありませんが）。よく定義された方法ではなく、非公式に線形であるとよく言われます。

PCAは、たとえば、次の意味で線形と考えることができます。これは、各変数があると考える方法のファミリーに属する関数で近似することができる及びの集合である何らかの望ましい持つ変数プロパティ。PCAの場合、は、特定の意味での近似精度の損失を最小限に抑えてカーディナリティーを削減できる独立変数のセットです。これらは多くの設定で望ましいプロパティです。 $X_i$

X_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

現在、PCAの場合、各は、の形式、の変数の線形結合に制限されています。 $f_i$

f_{Y} (α) = \sum_{i = 1}^{k} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

この制限を考えると、との最適な（ある意味では）値を見つける手順を提供します。つまり、PCAは線形関数のみをもっともらしい仮説と見なします。この意味で、私はそれを「線形」として正当に説明できると思います。 $Y$ $\alpha_{ij}$

— ブロンコ
ソース

3

PCAは線形変換を提供/します。

特定の分析に関連付けられたマップを取得する場合、たとえば場合、。 $\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

原因は、、およびが同じ線形変換ではないことです。 $PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

比較として、線形変換を使用しているが線形変換自体ではないプロセスの非常に単純な例：

回転ベクトルの角度倍いくつかの基準ベクトル（2次元ユークリッド空間内の点を言う）（言う）、線形変換ではありません。例えば $D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

そして

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

しかし

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

角度の計算を含むこの角度の2倍は線形ではなく、固有ベクトルの計算は線形ではないというアメーバのステートメントに類似しています。

— セクストゥス・エンピリカス
ソース