PCA目的関数：分散の最大化とエラーの最小化の関係は何ですか？

PCAアルゴリズムは、相関行列の観点から定式化できます（データはすでに正規化されており、最初のPCへの投影のみを検討していると仮定します）。目的関数は次のように記述できます。$X$

$$\max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1.$$

これは問題ありません。ラグランジュ乗数を使用して解決します。つまり、次のように書き換えます。

$$\max_w [(Xw)^T(Xw) - \lambda w^Tw],$$

これは

$$\max_w \frac{ (Xw)^T(Xw) }{w^Tw},$$

そのため（ここでMathworldを参照）は\ max_w \ sum_ {i = 1} ^ n \ text {（ポイント$ x_i $からライン$ w $までの距離）} ^ 2と等しいよう

$$\max_w \sum_{i=1}^n \text{(distance from point $x_i$ to line $w$)}^2.$$

しかし、これはポイントとラインの間の距離を最大化することを言っています、そして私がここで読んだことから、これは間違っています-それは\ maxではなく\ minであるべきです。私のエラーはどこにありますか？$\min$$\max$

または、投影された空間の分散を最大化することと、点と線の間の距離を最小化することとの間のリンクを誰かに見せてもらえますか？

ましょうと一緒に中心データ行列行の観測。ましょうの共分散行列です。ましょう変数空間内の軸を指定する単位ベクトルです。我々はしたい最初の主軸であることを。$\newcommand{\X}{\mathbf X}\X$$n$$\newcommand{\S}{\boldsymbol \Sigma}\S=\X^\top\X/(n-1)$$\newcommand{\w}{\mathbf w}\w$$\w$

最初のアプローチによれば、最初の主軸は投影（最初の主成分の分散）の分散を最大化します。この分散は、与えられ$\X \w$

$$\mathrm{Var}(\X\w)=\w^\top\X^\top \X \w/(n-1)=\w^\top\S\w.$$

2番目のアプローチによれば、最初の主軸はとその再構成間の再構成誤差、つまり元の点とへの投影の間の距離の平方和を最小化します。再構成誤差の2乗は、で与えられます $\X$$\X\w\w^\top$$\w$

$$\begin{align}\newcommand{\tr}{\mathrm{tr}} \|\X-\X\w\w^\top\|^2 &=\tr\left((\X-\X\w\w^\top)(\X-\X\w\w^\top)^\top\right) \\ &=\tr\left((\X-\X\w\w^\top)(\X^\top-\w\w^\top\X^\top)\right) \\ &=\tr(\X\X^\top)-2\tr(\X\w\w^\top\X^\top)+\tr(\X\w\w^\top\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\X\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\w^\top\X^\top\X\w) \\ &=\mathrm{const} - \mathrm{const} \cdot \w^\top \S \w. \end{align}$$

メイン用語の前のマイナス記号に注意してください。そのため、再構成エラーを最小化すると、分散であるが最大化されます。したがって、再構成エラーを最小化することは、分散を最大化することと同等です。どちらの定式化も同じ生成します。$\w^\top \S \w$$\w$