非常に大きなデータセットから重要な変数をすばやく選択するにはどうすればよいですか？

約2,000のバイナリ変数/ 200,000行のデータセットがあり、単一のバイナリ従属変数を予測しようとしています。この段階での私の主な目標は、予測の正確さを得ることではなく、これらの変数のどれが重要な予測子であるかを識別することです。最終モデルの変数の数を約100に減らしたいのですが。

最も重要な変数を取得する比較的迅速な方法はありますか？randomForestに時間がかかっているようです。

200,000件すべてを使用する必要はないので、サンプリングはテーブルのオプションです。

単純な一変量フィルターから始めて、交差検証を使用して、保持する変数を決定できます。R用パッケージのsbf関数caretは本当に便利です。詳しくは、19ページ以降のこちらをご覧ください。

これは、収縮と変数選択を行う投げ縄や友人にとって適切な問題のように聞こえます。Elements of Statistical Learningは、回帰のなげなわとエラスティックネット、およびこの問題に関連するのはロジスティック回帰について説明しています。

本の著者は、lassoとelastic netの効率的な実装をglmnetと呼ばれるRパッケージとして利用できるようにしました。以前はこのパッケージを使用して、データマトリックスが約250,000行のバイナリデータ分析を行いましたが、列はいくぶん少なくなりますが、実際には他のすべての列に対してすべての列の回帰を実行しています。データマトリックスもスパースである場合、実装もそれを利用でき、メソッドは実際にはOPの完全なデータセットに対して機能すると思います。投げ縄に関するコメントは次のとおりです。

• Lassoは、滑らかでないペナルティ関数（）を使用して変数の選択を実現します。これにより、通常、一部のパラメーターが0に等しいパラメーター推定値が得られます。推定される非ゼロパラメーターの数と量ゼロ以外のパラメーターは縮小され、調整パラメーターによって決定されます。glmnetでの実装の効率は、大きなペナルティの場合、0と異なるパラメータはほとんどないという事実に大きく依存しています。$\ell_1$
• 多くの場合、調整パラメーターの選択は交差検証によって行われますが、交差検証ステップがなくても、メソッドはペナルティパラメーターによってインデックスが付けられた選択された変数の適切なシーケンスを提供できる場合があります。
• 欠点は、変数選択の場合、変数がある程度相関している場合は特に、変数の選択においてラッソが不安定になる可能性があることです。この不安定性を改善するために、より一般的なエラスティックネットペナルティが考案されましたが、問題が完全に解決されるわけではありません。アダプティブラッソは、ラッソの変数選択を改善するためのもう1つのアイデアです。
• 安定性選択は、ラッソーのような方法で選択した変数の安定性を高めるためにMeinshausenとBühlmannによって提案された一般的な方法です。これは、データセットのサブサンプルへの多数の適合を必要とするため、計算量がはるかに多くなります。
• 投げ縄についての合理的な考え方は、単一変数モデルから、ペナルティパラメータによってパラメータ化されたより複雑なモデル（必ずしもすべての変数を含む必要はない）までの範囲の「良い」モデルの1次元セットを生成する方法です。対照的に、一変量フィルターは、優れた単一変数モデルのみの選択または順序付けを生成します。

Pythonの場合、投げ縄や弾性ネットなどのメソッドのscikit-learnに実装があります。

各変数の関連性のロジスティック回帰/カイ2乗検定を実行し、p値がある値よりも小さい変数（たとえば、2）のみを保持することができます。