SVAがPCAより優れている点はありますか？

私は、PCAとSVDを数学的に計算する方法を知っています。そして、両方が線形最小二乗回帰に適用できることを知っています。

SVDの主な利点は、数学的には、非正方行列に適用できることです。

どちらも行列の分解に焦点を当てています。前述のSVDの利点以外に、PCAよりもSVDを使用することで得られる追加の利点や洞察はありますか？ $X^\top X$

数学的な違いではなく、直感を本当に探しています。

pca least-squares svd

— バズ
ソース

質問は不明です。まず、OLS回帰について言及します。その後消えます。次に、advantage... SVD over PCA-svdとPCAは、数学的操作およびデータ分析方法として比較できません。あなたの質問はPCAを行う方法について何かありますか？または何を求めていますか？

— ttnphns 14年

不明確で申し訳ありません。PCAを使用して導出されたリッジ型推定器と、SVDを使用して導出されたリッジ型推定器があります。モデルのセットアップ方法には違いがあります。つまり、モデルが使用する事前情報の条件です。しかし、それらは同じ著者によって書かれています。私はそれらの違いを理解しようとしていますが、彼が分析の基礎としてPCA対SVDを使用する理由を理解しようとしていました。おそらくarbitrary意的でしたが、長所と短所を理解できれば助かります。これまでのところ、SVDは数値的に安定している傾向があるPCAを実行するための単なる方法であると思われます。

— バズ14年

それは問題ありませんが、SVDを使用しても問題に関する追加の計量経済学的洞察/直感が得られるのではないかと思いました。

— バズ14年

計量経済学に特に焦点を当てたい場合は、質問でそれを詳しく説明し、その理由を説明する必要があると思います。とにかくまったく異なる種類の獣であるSVDとPCAの議論が、計量経済学と統計科学の他の分野とでは異なることはわかりません。

— ニックコックス14年

@Baz：「これまでのところ、SVDは数値的に安定している傾向があるPCAを実行する方法に過ぎないようです」 -[この文脈では]まったく正しいです、はい。

— アメーバは2014

回答:

$X^T X$ $X X^T$

したがって、Newtonの方法が最小二乗法よりも優れているかどうかを尋ねるようなものであるため、PCAよりもSVDに「利点」はありません。2つは比較できません。

— 紫51
ソース

簡潔で短い回答がどのように質問の核心に到達できるかを示す良い例です。

— ニックコックス14年

うわー、この答えは8回、元の質問は0回です。これはあまり意味がありません。回答に賛成票を投じる場合は、質問にも賛成票を投じることを検討してください。

— アメーバは2014

@amoeba私への質問は混乱しています。答えは、混乱が何であるかを明確にします。これは投票の違いを説明する良い説明だと思います。

— ニックコックス14年

実際には、SVDはより教訓的であり、それ自体は数値的手法ではなく、線形代数演算であり、Householder変換などを含む特定の数値的手法を使用して実装できます...

— purple51 14年

ただし、SVDを使用して（主成分を導出する場合）の利点は数値的なものです：より高い精度。たとえば、Jolliffe（2002）を参照してください。たぶん

— ニコスアレクサン

質問は、SVDを適用する前に列のZスコア正規化を行う必要があるかどうかを本当に尋ねています。これは、PCAが上記の変換とそれに続くSVDであるためです。時には正規化を行うことは非常に有害です。たとえば、データが（変換された）正の単語数である場合、平均値を引くことは明らかに有害です。これは、ドキュメント内に単語が存在しないことを表すゼロが、大きさが大きい負の数値にマッピングされるためです。線形問題では、フィーチャが最も敏感な範囲を表すために、より高い等級を使用する必要があります。また、標準偏差で割ることは、このタイプのデータにとって有害です。

— ステファン・サベフ
ソース

これは興味深い例ですが、他のスレッドに属するべきだと思います。PCAはZスコアリングなしで間違いなく実行できるため、最初の文には同意しません。それは、この質問が「本当に求めている」ことではありません。

— アメーバは、Reinstate Monica

PCAとSVDは、平均値の減算を無視する場合は同じです（これは、先ほど述べたZスコアリングです。時々、人々はstdevで除算してPCAを与えます）。したがって、平均を差し引くことなくPCAを実行できることに同意しません。非正方行列でもPCAを実行できます。

— ステファンSavev