ビッグデータのロジスティック回帰

約5000の機能のデータセットがあります。そのデータについて、私は最初に特徴の選択にカイ二乗検定を使用しました。その後、応答変数と有意な関係を示す変数を約1500個取得しました。

ここでロジスティック回帰を当てはめる必要があります。私はRにglmultiパッケージを使用しています（glmultiパッケージはvlmの効率的なサブセット選択を提供します）が、一度に30の機能しか使用できません。それ以外の場合、データセットの行数が約20000であるため、パフォーマンスが低下します。

上記の問題を解決する他のアプローチや手法はありますか？上記の方法で行くと、モデルを合わせるのに時間がかかりすぎます。

機能のスクリーニングを行ってから、残っている機能を、以前に行われたデータ拷問の量がわからないメソッドにフィードすることは適切ではありません。すべての潜在的な機能（エラスティックネットなど）を処理できる方法を使用することをお勧めします。データ削減の使用に関する他の提案も優れたアイデアです。

最初のアプローチは、PCAを使用してデータセットの次元を減らすことです。分散全体の約97％を保持するようにしてください。これはかなり役立つ場合があります。

別のオプションは、確率的勾配降下法のようなものを使用することです。これは、はるかに高速なアルゴリズムであり、Rのメモリに適合することができます。

編集： Rの1つの問題は、RAMしか使用できないため、8 GBのメモリしかない場合に制限されます。私はこれで多くの問題に遭遇し、それ以来、より大きなデータセットをよりよく処理するように見えるpythonのscikit-learnの使用に移行しました。

データセットのサイズに基づいて開始する場所のいくつかのアイデアを与える非常に素晴らしいチャートはここにあります：http : //3.bp.blogspot.com/-dofu6J0sZ8o/UrctKb69QdI/AAAAAAAADfg/79ewPecn5XU/s1600/scikit-learn-flow -chart.jpg

@Frank Harrellが既に述べたように、エラスティックネットまたはLASSOを使用して5000のすべての機能（p）でペナルティ付き回帰を実行することは、機能選択の良い出発点になります（3500の変数は、従属変数）。これらの方法はどちらも、Rパッケージを使用して実行できますglmnet。

関心のある潜在的な予測変数（p = 5000）間で共有される関係を考慮するために、パッケージを使用してランダムフォレストを実行するrandomForestか、パッケージを使用して勾配ブースティングを実行しgbm、潜在的な予測変数の相対的な重要性を評価することをお勧めしますバイナリの結果に関して。この情報があれば、より簡潔なロジスティック回帰モデルを構築する準備がはるかに整います。

これはRに限定されているわけではないと思います。これは、おそらくあなたがすべきではないビッグデータの問題です。Apache Sparkのスケーラブルな機械学習ライブラリであるMLlibを試すことができます。

一方、Apache Sparkは、インメモリの大規模データ処理のための高速で一般的なエンジンです。これらは、単純なプログラミングモデルを使用してコンピューターのクラスター全体で大規模なデータセットの分散処理を可能にするHadoopフレームワークで動作します。単一サーバーから数千のマシンにスケールアップするように設計されており、それぞれがローカルの計算とストレージを提供します。

「数千台のマシン」はオプション（！）であることに注意してください。ローカルワーク/ホームデスクトップにも設定できます。

MLlibに戻ると、次のアルゴリズムが最初から付属しています。

• K-meansによるK-meansクラスタリング|| 初期化。
• L1およびL2正規化線形回帰。
• L1およびL2で正規化されたロジスティック回帰。
• 最小二乗交互フィルタリング、明示的評価または暗黙的フィードバック。
• 単純ベイズ多項式分類。
• 確率的勾配降下法。

ビッグデータを定期的に使用している場合は、Hadoopソリューションの採用が必要になる場合があります。

Vowpal Wabbit：Vowpal Wabbitを試すことができ ます。これは、非常に大規模なデータセットと非常に多数の機能でうまく機能します。

ウェブサイトによると：

これはYahoo!で始まったプロジェクトです。Microsoft Researchで調査を続け、高速でスケーラブルで有用な学習アルゴリズムを設計する。VWは、機械学習における速度の本質であり、terafeatureデータセットから簡単に学習できます。並列学習により、学習アルゴリズムの最初である線形学習を実行すると、単一のマシンネットワークインターフェイスのスループットを超える可能性があります。