PCAとTruncatedSVDのscikit-learn実装の違い

代数的/厳密なレベルでの主成分分析と特異値分解の関係を理解し​​ています。私の質問は、scikit-learnの実装についてです。

ドキュメンテーションは、「[TruncatedSVD]はPCAに非常に似ていますが、共分散行列ではなく、サンプルベクトルを直接操作します。」これは、両方のアプローチの代数的な違いを反映しています。ただし、後で説明します：「この推定器[TruncatedSVD]は、2つのアルゴリズムをサポートしています。高速ランダム化SVDソルバーと、（X * XT）または（XT * X）の固有ソルバーとしてARPACKを使用する「単純な」アルゴリズムのいずれか多い方です。効率的。」PCAについて、「データの特異値分解を使用してそれを投影する線形次元削減...」と述べています。PCA実装は、同じ2つのアルゴリズム（ランダム化およびARPACK）ソルバーと、もう1つのアルゴリズムLAPACKをサポートしています。コードを見ると、PCAとTruncatedSVDの両方のARPACKとLAPACKの両方がサンプルデータXでsvdを実行しており、ARPACKは（svdsを使用して）スパース行列を処理できることがわかります。

したがって、さまざまな属性とメソッドを除いて、PCAがLAPACK、PCA、およびTruncatedSVDを使用して正確な完全特異値分解を実行できることを除いて、scikit-learnの実装はまったく同じアルゴリズムのようです。最初の質問：これは正しいですか？

2番目の質問：LAPACKとARPACK使用scipy.linalg.svd（X）とscipy.linalg.svds（X）、というXサンプルマトリックスが、彼らは特異値分解またはの固有分解を計算するにもかかわらず、または内部では「ランダム化」ソルバーは積を計算する必要はありませんが。（これは数値の安定性に関連しています。データのSVDによるデータのPCAの理由を参照してください。）これは正しいです？X ∗ X $X^T*X$$X*X^T$

関連コード：PCAのライン415 TruncatedSVDのライン137。

PCAとTruncatedSVDのscikit-learn実装は、まったく同じアルゴリズムのようです。

いいえ：PCAは（機能ごとの平均減算によって）中央揃えされたデータの（切り捨てられた）SVD です。データが既に中央に配置されている場合、これら2つのクラスは同じことを行います。

実際にTruncatedSVDは、メモリ使用量を爆発させなければ中央に配置できない大規模なスパースデータセットで役立ちます。

• numpy.linalg.svdそしてscipy.linalg.svdどちらも、ここで説明されているLAPACK _GESDDに依存しています：http : //www.netlib.org/lapack/lug/node32.html（分割統治ドライバー）

• scipy.sparse.linalg.svdsARPACKに依存してXTの固有値分解を行います。XまたはX。Arnoldi反復法によるXT（データの形状に依存）。ARPACKのHTMLユーザーガイドには、計算の詳細を隠すフォーマットが壊れていますが、ArnoldiのイテレーションはWikipediaで詳しく説明されています：https : //en.wikipedia.org/wiki/Arnoldi_iteration

以下は、scipyでのARPACKベースのSVDのコードです。

https://github.com/scipy/scipy/blob/master/scipy/sparse/linalg/eigen/arpack/arpack.py#L1642（ソースコードの行が変更された場合は、「def svds」の文字列を検索してください） ）。