大規模なテキスト分類

テキストデータの分類を検討しています。私が持っている300 classes、クラスごとに200件のトレーニング文書を（そう60000 documents in total）、これはおそらくもたらすことがある非常に高い次元データ（私たちはを超えて見てすることができる100万の寸法）。

パイプラインで次の手順を実行します（私の要件が何であるかを把握するためです）。

1. 各ドキュメントを特徴ベクトルに変換（tf-idfまたはvector space model）
2. Feature selection（Mutual Informationできればベース、または他の標準的なもの）
3. （分類器をトレーニングSVM、Naive Bayes、Logistic RegressionまたはRandom Forest）
4. 訓練された分類子モデルに基づいて、見えないデータを予測します。

質問は、このような高次元のデータを処理するためにどのツール/フレームワークを使用するのですか？私はいつもの容疑者（R、WEKA ...）を知っていますが、私の知る限り（間違っているかもしれません）、おそらく誰もこの大規模なデータを処理できません。私が見ることができる他の市販のツールはありますか？

並列化する必要がある場合、Apache Mahoutを検討する必要がありますか？必要な機能をまだ提供していないようです。

事前にすべてに感謝します。

更新：このWebサイト、Rメーリングリスト、およびインターネット全般を調べました。私の状況では、次の問題が発生する可能性があります。

（1）R（特にtmパッケージ）を使用したデータの前処理は、非常に遅いため、実用的ではありませんtm。

（2）Rパッケージ（前処理、スパース行列、分類子など）のアンサンブルを使用する必要があるため、パッケージ間の相互運用性が問題になる可能性があり、データをある形式から別の形式に変換する際に追加のオーバーヘッドが発生する可能性があります。たとえば、tm（またはWEKAなどの外部ツール）を使用して前処理を行う場合、このデータをRのHPCライブラリが読み取れる形式に変換する方法を見つける必要があります。繰り返しになりますが、分類器パッケージがHPCライブラリによって提供されるデータを直接取り込むかどうかは明確ではありません。

私は正しい軌道に乗っていますか？そしてもっと重要なことは、私は理にかなっていますか？

これは、データがscipy.sparse.csr_matrixPythonのインスタンスなどのスパースデータ構造として表される限り、機能するようにする必要があります。テキストデータを扱うためのチュートリアルを書きました。ハッシュトリックを活用することで、さらにメモリ使用量を削減するために、さらに可能である：使用するように適応させるHashingVectorizer代わりに、CountingVectorizerまたはTfidfVectorizer。これについては、ドキュメントセクションのテキスト機能の抽出で説明しています。

ランダムフォレストは一般に、線形モデル（線形サポートベクターマシンやロジスティック回帰など）や多項またはベルヌーイナイーブベイよりもはるかに高価であり、ほとんどのテキスト分類問題では、単純なモデルよりも予測精度が大幅に向上することはありません。

scikit-learnが問題に合わせて拡張できない場合、Vowpal Wabbitは、あなたが話しているすべてのモデルを実装していなくても（おそらくsklearnよりも高速に）実行します。

scikit-learnライブラリの現在の状態を反映し、壊れたリンクを修正するために、2015年4月に編集されました。

Gensim for Pythonは魔法です。また、Pythonにあるため、@ ogriselの提案と組み合わせて使用​​できます。

自分のホーンを鳴らすのではなく、Rapidminerを使用してテキスト分析に関する非常に人気のあるビデオシリーズを作成しました。ここで見ることができます：

http://vancouverdata.blogspot.com/2010/11/text-analytics-with-rapidminer-loading.html

機能選択の実行を避けることができます。メモリ内に100万* 100万のマトリックスを作成しない分類子を使用するだけです:)

ロジスティック回帰は、その多くの次元で停止します。Naive Bayesは独立した次元を想定しているため、問題ありません。SVMは次元の数に依存しません（ただし、サポートベクトルの数に依存します）ので、同様に問題ありません。

ただし、300は多くのクラスです。私はほんの数人で始めて、あなたの道を進みます。

まず、あなたのコメントに基づいて、これを300のバイナリ（はい/いいえ）分類問題として扱います。使いやすいオープンソースのバイナリ分類学習器が多数あり、これにより時間とメモリを交換できます。

SVMとロジスティック回帰は、おそらくテキスト分類の最も一般的なアプローチです。最新の実装ではスパースデータ構造が使用され、オーバーフィットを回避する正則化設定が含まれているため、どちらも1000000ディメンションを簡単に処理できます。

WEKAやKNIMEなど、いくつかのオープンソースの機械学習スイートには、SVMとロジスティック回帰の両方が含まれています。SVMのスタンドアロン実装にはlibSVMおよびSVMlightが含まれます。ロジスティック回帰のために、マディガン、ゲンキンなどで開発したBXRtrainとBXRclassifyをプラグインします。BXRclassifyは、数千のロジスティック回帰モデルのメモリ内インデックスを構築し、それらを同時に適用できます。

テキストを属性ベクトル形式に変換することに関して、私はどういうわけか、常にゼロからそれを行うために小さなPerlを書くことになります。:-)しかし、私が言及した機械学習スイートには、トークン化とベクトル化のコードが含まれていると思います。もう1つの方法は、LingPipeのような自然言語ツールキットを使用することです。ただし、これはやりすぎかもしれません。

Sklearn 0.13以降、実際にはHashingVectorizerの実装があります。

編集：ここに、sklearn docsからのそのようなアプリケーションの本格的な例があります

基本的に、この例は、コンピューターのメインメモリに収まらないデータ（ただし、ディスク/ネットワーク/ ...）にあるテキストを分類できることを示しています。