高次元データ用の最速のPCAアルゴリズム

11

約40 000個のサンプルで構成されるデータセットに対してPCAを実行します。各サンプルには約10,000個の特徴が表示されます。

Matlab princomp関数を使用すると、一貫して30分以上かかり、その時点でプロセスを強制終了します。10分以内に実行される実装/アルゴリズムを見つけたいです。最速のアルゴリズムは何でしょうか？i7デュアルコア/ 4GB RAMにかかる時間はどれくらいですか？

high-dimensional data-analysis

— まろやかな
ソース

はい、あなたは正しいです、私はより正確でなければなりません。30分以上かかるので、プロセスを強制終了することにしました。私は少なくとも10回これを行う必要があり、10分未満で作品があることに何か持っていいだろうか

— まろやか

マトリックスはどの程度疎ですか？

— アーノルドノイマイアー

マトリックス内のゼロの割合が80％を超えている

— メロー

kernal-PCAもチェックしてください。

— meawoppl

11

まず、すべてのコンポーネントが必要か、最も重要なコンポーネントが必要かを指定する必要がありますか？

$A \in \mathbb{R}^{N \times M}$ $N$ $M$

$C \in \mathbb{R}^{M\times M}$ $O(NM^2)$ $O(M^3)$ $O(2M^2)$ $\approx 1.5$ $A$

$A$ $A$

$C$

— アレキサンダー
ソース

2

少数（または数百）の支配的な特異値/ベクトルのペアのみが必要だと思います。次に、反復メソッドを使用するのが最適です。反復メソッドは、はるかに高速で、はるかに少ないメモリを消費します。

Matlabでは、

svdsを助ける

— アーノルド・ノイマイアー
ソース

はい、最初の100個のコンポーネントのみが必要な場合、反復法ははるかに高速であるようです。

— メロウ

svdsに関しては、マトリックスをスパース形式にし、princomp関数を変更してsvdの代わりにsvdsを配置しようとしましたが、驚いたことに、2000 * 4000マトリックス（15秒ではなく180秒））。奇妙

— な...-メロー

1

スパース形式に切り替える必要はありません。また、計算する特異ベクトルの数を減らす必要があります。単純なsvdを計算するには、svdsは適切ではありません。

— アーノルドノイマイアー

2

また、スタンフォード

— Nick Alger

2

Cross Validatedで私の答えを確認できます。ここにコピーしたくありませんでした。基本的に、高速でランダム化されたSVDを使用して、PCA基底と係数を計算できます。

— ペトリコール
ソース

1

いくつかの固有ベクトルを繰り返し計算する方法に基づいたFast PCAアルゴリズムを試すことができます。A.Sharma and KK Paliwal、固定小数点分析を使用した高速主成分分析、パターン認識レター、28、1151-1155、2007を参照してください。

— 数学
ソース