PCAで得られた低ランクの近似行列によって、再構築エラーのどのノルムが最小化されますか？

PCA（またはSVD）行列の近似を考えると $X$ 行列と、我々は知っていることを最良の低ランク近似値である。 $\hat X$ $\hat X$ $X$

これはによるとされる誘発 $\parallel \cdot \parallel_2$ 規範（すなわち最大固有値規範）やフロベニウスに応じ $\parallel \cdot \parallel_F$ 標準？

pca svd matrix-decomposition

— ドンベオ
ソース

単一の単語の答え：両方。

$X$ $2$

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m a x (s_{i})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$

‖ X ‖_{F} = \sqrt{\sum_{i j} X_{i j}^{2}} = t r (X^{⊤} X) = \sqrt{\sum s_{i}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$

s_{i}

$s_i$

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

PCAは、データが中心にある場合と同じ特異値分解によって与えられます。 $US$ は主成分、 $V$ は主軸、つまり共分散行列の固有ベクトルであり、最大特異値に対応する主成分のみを含むの再構成は与えられます。 $X$ $k$ $k$ $X_k = U_k S_k V_k^\top$

エッカート・ヤングの定理はと言う再構成誤差のノルムを最小化する行列であるランクすべての行列の中。これは、フロベニウスノルムと演算子ノルムの両方に当てはまります。コメントの中で@cardinalが指摘したように、フロベニウス事件の場合、1907年に（グラムシュミット名声の）シュミットによって最初に証明されました。その後、1936年にエカートとヤングによって再発見され、現在ではほとんどがその名前に関連付けられています。Mirskyは、1958年に定理をユニタリ変換の下で不変なすべてのノルムに一般化しました。これには、演算子2-ノルムが含まれます。 $X_k$ $\|X-A\|$ $A$ $k$ $2$

この定理は、Eckart-Young-Mirsky定理と呼ばれることもあります。スチュワート（1993）は、それをシュミット近似定理と呼んでいます。シュミット・エッカート・ヤング・ミルスキーの定理と呼ばれることもあります。

Eckart and Young、1936、1 つのマトリックスを別の低ランクのマトリックスで近似
Mirsky、1958、対称ゲージ関数とユニタリ不変のノルム
スチュワート、1993、特異値分解の初期の歴史について

演算子証明- ノルム $2$

ましょフルランクであること。ランクである、その零空間が有する寸法を。最大の特異値に対応するの右特異ベクトルがまたがる空間の次元はです。したがって、これら2つのスペースは交差する必要があります。してみましょう交差点から単位ベクトルとします。次に、以下を取得します。 QED。 $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$

‖ X - A ‖_{2}^{2} \geq ‖ (X - A) w ‖_{2}^{2} = ‖ X w ‖_{2}^{2} = \sum_{i = 1}^{k + 1} s_{i}^{2} (v_{i}^{⊤} w)^{2} \geq s_{k + 1}^{2} = ‖ X - X_{k} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$

フロベニウスのノルムの証明

を最小化するランク行列を探します。を因数分解できます。ここで、は正規直交列があります。固定を最小化することは、解回帰問題です。それを差し込むと、を最小化する必要があることがわかりますここで、はの共分散行列、つまり $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$

‖ X - X W W^{⊤} ‖^{2} = ‖ X ‖^{2} - ‖ X W W^{⊤} ‖^{2} = c o n s t - t r (W W^{⊤} X^{⊤} X W W^{⊤}) = c o n s t - c o n s t \cdot t r (W^{⊤} Σ W),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$ 。再構成エラーがの列として取ることによって最小化されることをこれは意味一部の正規直交ベクトルは投影の全分散を最大化します。

W

$W$

k

$k$

これらが共分散行列の最初の固有ベクトルであることはよく知られています。実際、場合、ます。に正規直交列も書き込むと、ときに最大にます。その後、定理はすぐに続きます。 $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$

t r (W^{⊤} Σ W) = t r (R^{⊤} Λ R) = \sum_{i} λ_{i} \sum_{j} R_{i j}^{2} \leq \sum_{i = 1}^{k} λ_{k},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

次の3つの関連するスレッドを参照してください。

フロベニウスノルムの証明の以前の試み

この証拠はオンラインのどこかで見つけましたが、コメントの@cardinalで説明されているように間違っています（ギャップが含まれています）。

フロベニウスのノルムは、特異値を変更しないため、ユニタリ変換では不変です。したがって、次のようになります。ここで。継続：すべての非対角要素の場合、これが最小化されるゼロであり、全ての対角項が相殺の最大特異値 [ここでギャップを：これは明らかではない]、すなわちひいては。

‖ X - A ‖_{F} = ‖ U S V^{⊤} - A ‖ = ‖ S - U^{⊤} A V ‖ = ‖ S - B ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ X - A ‖_{F} = \sum_{i j} (S_{i j} - B_{i j})^{2} = \sum_{i} (s_{i} - B_{i i})^{2} + \sum_{i \neq j} B_{i j}^{2} .

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$

B

$B$

k

$k$

k

$k$

s_{i}

$s_i$

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$

— アメーバはモニカを復活させると言う
ソース

フロベニウスノルムの場合の証明は正しくありません（少なくとも完全ではありません）。なぜなら、ここでの引数は、同じランクの行列が他の対角項の一部を相殺する可能性を排除しないためです。対角線。ギャップをより明確に見るために、対角線を一定に保ち、非対角線を「ゼロ化」すると、問題のマトリックスのランクが上がることが多いことに注意してください！

— 枢機inal 14

また、SVDは、1874年早ければベルトラミ（少なくとも非常に一般的で、特別なケースが）とヨルダンに知られていたことに注意してください

— カーディナル

B

$B$

S

$S$

k

$k$

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$

— アメーバは2014

私は、GW Stewart（1993）、特異値分解の初期の歴史、SIAM Review、vol。35、いいえ。4、551-566そして、あなたが過去の歴史的な問題に興味を示したことを考えると、あなたもそう思うと思います。残念ながら、スチュワートはシュミットの1907年の証拠の優雅さを意図せずに過度に却下していると思います。その中に隠されているのは、スチュワートが見落としているリグレッションの解釈であり、これは非常にきれいです。最初の対角化アプローチに従う別の証拠がありますが、ギャップを埋めるために追加の作業が必要です。（続き）

— 2014

@枢機inal：はい、あなたは正しいです、今私もギャップを見ます。スチュワートの論文を本当にありがとう、それは非常に興味深い読み物でした。スチュワートはシュミットとワイルの証明を提示しているようですが、どちらもここでコピーしたいものよりも複雑に見えます（そして今のところ、それらを注意深く研究する時間はありませんでした）。私は驚いています。これは非常に単純な結果であると思っていましたが、思っていたほどささいなことではないようです。特に、フロベニウスの場合が演算子の標準よりもはるかに複雑であるとは思っていませんでした。今すぐ投稿を編集します。明けましておめでとうございます！

— アメーバは、モニカを復活させる

PCAで得られた低ランクの近似行列によって、再構築エラーのどのノルムが最小化されますか？

単一の単語の答え：両方。

演算子証明- ノルム222

フロベニウスのノルムの証明

フロベニウスノルムの証明の以前の試み

演算子証明- ノルム $2$