部分空間への正射影後のデータ行列のSVD

8

いくつかの行列 SVDを知ることができるとしましょう： $X$

X = U S V^{T}

$X = USV^T$

直交行列がある場合（つまり、は正方であり、正規直交列がある場合）、 SVD は $A$ $A$ $XA$

ここで、です。

X A = U S W^{T}

$XA = USW^T$

W = A^{T} V

$W = A^TV$

しかし、に正規直交列があるが必ずしも正方形ではない場合、のSVDについて何か言えるでしょうか。言い換えれば、のSVD がである場合、行列、、またはは、および SVDに関して記述できますか？ $XB$ $B$ $XB$ $XB = DEF^T$ $D$ $E$ $F$ $X$ $B$

更新： @whuberは、が正方形になるまで正規直交列を追加することで、を直交に拡張できることを示唆しています。この直交行列コール。 $B$ $B$ $\tilde B$

\tilde{B} = [B; B_{⊥}]

$\tilde B = [B; B_{\perp}]$

Iは、のSVD知るある（上記参照します）。しかし、今、私は私がのSVD書き込むことができる方法があるかどうかを確認するために苦労してるのSVDの面で。 $X\tilde B$ $US(\tilde B^TV)^T$ $XB$ $X\tilde B$

pca svd matrix-decomposition

— モビーツ
ソース

たとえば、

のSVDはそうではありません。これは、

が正方形であることがわかっている場合に得られるものです。これは、

が正方行列ではないためです。これは、SVDに当てはまる必要があります。

は正規直交列がまだあります。

X B = U S (B^{T} V)^{T}

$XB = US(B^TV)^T$

B

$B$

B^{T} V

$B^TV$

B^{T} V

$B^TV$

— mobeets

3

は、追加の正規直交列を直交行列に隣接させることで延長できます（たとえば、グラムシュミットプロセスを使用）。これにより、質問を最初のケースに減らすことができます。

B

$B$

— whuber

1

@whuberさん、ありがとうございます。そう言う

の直交化バージョンである

。SVD知ってます

私のSVDについて何か教え

？

B^{'}

$B'$

B

$B$

X B^{'}

$XB'$

X B

$XB$

— mobeets

それを書き出すと、関係がいかにシンプルで明確であるかがわかります。

— whuber

@whuber私はそれを完全に見ることができません...これが私が試したものです：

。次に、

B^{'} = [B; B_{⊥}]

$B' = [B; B_{\perp}]$

。

X B^{'} = [X B; X B_{⊥}] = U S (B^{' T} V)^{T} = U S ([\begin{matrix} B^{T} \\ B_{⊥}^{T} \end{matrix}] V)^{T} = U S {[\begin{matrix} B^{T} V \\ B_{⊥}^{T} V \end{matrix}]}^{T}

$XB' = [XB; XB_{\perp}] = US(B'^TV)^T = US(\left[\begin{matrix}B^T \\ B_{\perp}^T\end{matrix}\right]V)^T = US\left[\begin{matrix}B^TV \\ B_{\perp}^TV\end{matrix}\right]^T$

— mobeets

回答:

3

SVD では、は行列、は直交する行列です。 $X = USV^\prime$ $X$ $n\times p$ $V$ $p\times p$

仮定直交する、である：行列。しましょう $B$ $p\times q$ $B^\prime B = 1_q$

\begin{matrix} (1) & S V^{'} B = T D W^{'} \end{matrix}

$S V^\prime B = TDW^\prime\tag{1}$

SVDである。したがって、定義により、は行列、は次元対角行列、は直交行列です。 $S V^\prime B$ $T$ $p\times q$ $D$ $q$ $W$ $q\times q$

計算する

\begin{matrix} (2) & X B = (U S V^{'}) B = U (S V^{'} B) = U (T D W^{'}) = (U T) D (W^{'}) . \end{matrix}

$XB = (USV^\prime) B = U(SV^\prime B) = U(TDW^\prime) = (UT)D(W^\prime).\tag{2}$

$(UT)^\prime (UT) = T^\prime (U^\prime U) T = T^\prime T = 1_q$ $UT$ $D$ $W^\prime$ $D$ $W$ $q\times q$ $(2)$ $XB$ $(1)$ $X$ $B$

— whuber
ソース

1

X B

$XB$

S V^{'} B

$SV'B$

X

$X$

X B

$XB$

B

$B$

3

$B$ $XB$ $X = USV^T$

$XB$ $B$ $\tilde B = [B; B_{\perp}]$ $k$ $B_{\perp}$ $\tilde B$ $X = USV^T$ $X$ $X\tilde B = US(\tilde B^TV)^T$ $X \tilde B$

$XB$ $X\tilde B$ $k$ $Y = DEF^T$ $Y' = D'E'F'^T$ $Y'$ $k$ $Y$ $Y = X\tilde B$ $Y' = XB$

この問題は「SVDのダウンデート」と呼ばれ、一般に、これを行うための多くのアプローチがあるようです。一つの関連するアプローチが発見され、ここで、そしてより多くの議論こちら。

$XB$ $X$

— モビーツ
ソース

1

+1。私はあなたが問題を正しく識別していると思います：「簡単な」方法はありません。単純なおもちゃの例を考えると、かなり直感的です。たとえば、対角線方向に伸びた2Dデータクラウドです。2つの元の特異ベクトルは対角です。データ行列に正方直交行列を乗算すると、雲全体が回転するだけなので、特異ベクトルは回転まで同じままです。しかし、データクラウドをたとえば水平線（1Dサブスペース）に投影すると、その形状が完全に変化します。現在、唯一の特異ベクトルは水平です。新しい特異ベクトルは古いものとは無関係です。

— amoeba

これは、違いについての直感的な説明です。最初は、直交行列に対してこのような単純な関係が存在する可能性があることをかなり気が動転していましたが、その行列の1つの列だけを削除すると、もうそうではなくなりました。しかし、今ではすべてが理にかなっています。ありがとう！

— mobeets

同意する。私が最初にあなたの投稿を読んだとき、私は考えました：なんて素朴な質問でしょう！:-)明らかに、特異ベクトルを回転させ（whuberが書いているように、回転行列になるように「拡張された」行列を使用して）、それらの一部（「拡張された」部分に対応する）をドロップする必要があります。しかし、これはもちろん間違っています。

— amoeba 2016年

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.