非常に大きなスパース行列にPCAを適用します

Rを使用してテキスト分類タスクを実行しており、サイズが22490 x 120,000のドキュメント用語マトリックスを取得しています（400万の非ゼロエントリのみ、1％未満のエントリ）。ここで、PCA（主成分分析）を利用して次元を減らしたいと思います。残念ながら、Rはこの巨大な行列を処理できないため、この行列を「行列市場形式」のファイルに保存し、PCAを行うために他の手法を使用したいと考えています。

だから誰も私に便利なライブラリ（プログラミング言語が何であれ）のヒントを教えてくれますか？この大規模なマトリックスでPCAを簡単に実行したり、自分で長文のPCAを実行したり、つまり最初に共分散行列を計算したり、次に、共分散行列の固有値と固有ベクトルを計算します。

私が望むのは、すべてのPC（120,000）を計算し、90％の差異を占める上位N個のPCのみを選択することです。明らかに、この場合、いくつかの非常に小さな分散値を0（共分散行列内）に設定するために、事前にしきい値を指定する必要があります。 1台のマシンでは処理できません。また、負荷（固有ベクトル）は非常に大きくなるため、スパース形式で保存する必要があります。

助けてくれてありがとう！

注：24GB RAMと8 CPUコアのマシンを使用しています。

irlbaパッケージをお勧めします-svdとほぼ同じ結果を生成しますが、解決する特異値の数をより少なく定義できます。Netflix賞を解決するためにスパース行列を使用する例は、http：//bigcomputing.blogspot.de/2011/05/bryan-lewiss-vignette-on-irlba-for-svd.htmlにあります。

SLEPcを使用して部分的なSVDを計算することをお勧めします。詳細については、ユーザーズマニュアルの第4章およびSVD のマニュアルページを参照してください。

私はmahoutに投票します。これは他のNLP / TAタスクにも役立ち、map / reduceを実装します。

増分特異値分解を使用することをお勧めしますが、その多くは文献にあります。例えば：

• マシューブランド1および2の技術レポートは、簡単にフォローできます。
• クリス・ベイカーの修士論文、彼のソフトウェアIncPACK、およびインクリメンタルSVD方法に関する彼の後の論文
• バンチとニールセンは、最も早い既知の論文を発表しました
• ホールによる固有値問題1および2の更新に関する論文
• LevyらによるKarhunen-Loeveの連続解析、これは基本的に同じことです

これらのアプローチはすべて次のようになります。

• 小さなデータセットから始めます
• 何らかの方法でSVDを計算します（この手順は、単一の列行列では簡単です）
• 終了するまで繰り返します：
  • 新しいデータセットを追加する
  • 既存のSVDと更新ルールを使用して、新しいデータセットのSVDを計算する

$N$

Rを引き続き使用できます。

Revolution RRAMより大きいデータセットを処理するRのビルドです。関数を使用しますprincomp。

また、RAMに適合しないビッグデータスタイルの問題（線形回帰、ロジスティック回帰、変位値など）向けに特別に設計された幅広い統計関数も備えています。

「私はアカデミック」ボックスにチェックを入れると、フル機能のアカデミックバージョンを無料でダウンロードできます。