XX 'とX'Xの固有値分解でXの有効なSVDを取得できないのはなぜですか？

私は手でSVDを実行しようとしています：

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

しかし、最後の行は戻りませんm。どうして？それはこれらの固有ベクトルの兆候と関係があるようです...または手順を誤解しましたか？

r svd eigenvalues

— 失敗した
ソース

stats.stackexchange.com/search?q=svd+signを参照してください。

— whuber

SVDでは記号は重要ではないと繰り返し言われます...このように

— 失敗した統計学者2017

@Amoeba明確にしていただきありがとうございます。私はコードよりも英語の質問に焦点を合わせていました。Failedstatistician：何を実行するかを確認D=diag(c(-1,1,1)*sqrt(eigen(m%*%t(m))$values))し、平方根（および正規化された固有ベクトル）は符号までしか定義されていないことを覚えておいてください。詳細については、に変更mしm <- matrix(-2,1,1)て、へ,1,1)の各呼び出しの最後に含めてくださいdiag。これは、同じ問題を作成する

例ですが、非常に単純なので、問題の性質が完全に明らかになります。

1 \times 1

$1\times 1$

— whuber

とった。ありがとうございました！ベクトルc（-1、1、1）を決定する一般的なルールはありますか？または、2つの分解の兆候をどのように関連付ける必要がありますか？

— failedstatistician 2017

@whuberのトリックはc(-1,1,1)機能しますが、そのDように定義されているため、特異な値は得られません。定義上、特異値はすべて正でなければなりません。兆候をリンクする方法の問題UとV良いです、と私は答えを持っていません。なぜSVDをしないのですか？:-)

— アメーバ

回答:

問題の分析

マトリックスのSVDが一意になることはありません。行列次元をとし、そのSVDを $A$ $n\times k$

A = U D V^{'}

$A = U D V^\prime$

正規直交列を持つ行列、非負のエントリを持つ対角行列、および正規直交列を持つ行列。 $n\times p$ $U$ $p\times p$ $D$ $k\times p$ $V$

$p\times p$ $S$ $\pm 1$ $S^2 = I$ $p\times p$ $I_p$

A = U D V^{'} = U I D I V^{'} = U (S^{2}) D (S^{2}) V^{'} = (U S) (S D S) (V S)^{'}

$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$

$A$

(U S)^{'} (U S) = S^{'} U^{'} U S = S^{'} I_{p} S = S^{'} S = S^{2} = I_{p}

$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$

U S

$US$

V S

$VS$

S

$S$

D

$D$

S D S = D S^{2} = D

$S D S = DS^2 = D$

D

$D$

$U$

A A^{'} = (U D V^{'}) (U D V^{'})^{'} = U D V^{'} V D^{'} U^{'} = U D^{2} U^{'}

$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$

V

$V$

A^{'} A = V D^{2} V^{'} .

$A^\prime A = VD^2V^\prime.$

D

$D$

D^{2}

$D^2$ $U$ $V$

解決策

$U$ $V$

U^{'} A V = U^{'} (U D V^{'}) V = (U^{'} U) D (V^{'} V) = D

$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$

$D$ $A^\prime A$ $AA^\prime$ $S$ $D$ $SD$ $U$ $S$

A = U D V^{'} = (U S) (S D) V^{'} .

$A = U D V^\prime = (US) (SD) V^\prime.$

それはSVDです。

例

$n=p=k=1$ $A=(-2)$

(- 2) = (1) (2) (- 1)

$(-2) = (1)(2)(-1)$

$U=(1)$ $D=(2)$ $V=(-1)$

$A^\prime A = (4)$ $U=(1)$ $D=(\sqrt{4})=(2)$ $AA^\prime=(4)$ $V=(1)$

U D V^{'} = (1) (2) (1) = (2) \neq A .

$UDV^\prime = (1)(2)(1) = (2) \ne A.$

D = U^{'} A V = (1)^{'} (- 2) (1) = (- 2) .

$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$

S = (- 1)

$S=(-1)$

U

$U$

U S = (1) (- 1) = (- 1)

$US = (1)(-1)=(-1)$

D

$D$

S D = (- 1) (- 2) = (2)

$SD = (-1)(-2)=(2)$

A = (- 1) (2) (1),

$A = (-1)(2)(1),$

コード

ここに変更されたコードがあります。その出力は確認します

メソッドはm正しく再作成されます。
$U$ $V$
しかし、結果はによって返されるSVDとは異なりsvdます。（どちらも有効です。）

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

— whuber
ソース

+1。これは非常に明確です。実際には、Uまたはを計算Vしてから、を乗算して別の行列を取得するだけで十分であることを追加しAます。この方法では、2つではなく1つだけの固有分解を実行し、標識が正しく表示されます。

— アメーバ2017

@Amoebaそうです。SVDを手動で計算するという精神で、これは明らかに教育的な演習であるため、ここでは効率に注意を払いません。

— whuber

ご協力ありがとうございます！私はこの問題を（ついに）理解したと思います。

— failedstatistician 2017

@Federicoそのリマインダーをありがとう。あなたはまったく正しいです。私は暗黙的にすべての固有値が異なると仮定しました。実際、これは統計アプリケーションではほぼ確実に当てはまることであり、「縮退した」固有空間のあいまいさを考慮する習慣から抜け出します。

— whuber

U

$U$

V

$V$

@whuberの回答へのコメントで概説したように、SVDを計算するこの方法は、すべての行列に対して機能するわけではありません。問題は標識に限定されません。

$A'A$ $AA'$ $U$ $V$ $A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$ $AA'=A'A=I$ $I$ eigen $U=V=I$ $U'AV=A$

$U$ $V$

$A$ $A'A$ $AA'$ $\|A\|^2u$ $u \approx 2\times 10^{-16}$ $10^{-8}$

2つの固有分解からSVDを計算することは優れた学習例ですが、実際のアプリケーションでは、常にRのsvd関数を使用して特異値分解を計算します。

— フェデリコ・ポローニ
ソース

このコメントは良いアドバイスです。ただし、このスレッドはSVDを計算する適切な方法を考慮していないことに注意してください（あなたの推奨に反論する人はいないと思います）。OPはそれがsvd機能することを暗黙的に受け入れます。実際、彼らはそれを手作業の計算と比較するための標準として使用します。その目的は、理解を確認することであり、決して置き換えることではありませんsvd。

— whuber

@whuber正しい観察。最後の段落を書き直しました。

— Federico Poloni、2017