バイナリ分類の変数選択手順

学習セットの観測値よりも多くの変数/機能がある場合、バイナリ分類に適した変数/機能の選択は何ですか？ここでの目的は、分類エラーを最適に削減する機能選択手順を説明することです。

一貫性の表記法を修正できます：場合、をグループからの観測値の学習セットとします。したがって、は学習セットのサイズです。私たちは、セット多くの特徴（特徴空間の次元をIE）であることを。ましょ表すの座標番目の。$i \in \{0, 1\}$$\{x_1^i,\dots, x_{n_i}^i\}$$i$$n_0 + n_1 = n$$p$$x[i]$$i$$x \in \mathbb{R}^p$

詳細を提供できない場合は、完全な参考文献を提供してください。

編集（継続的に更新）：以下の回答で提案されている手順

• 貪欲な前方選択 バイナリ分類のための変数選択手順
• バイナリ消去のための後方消去変数選択手順
• メトロポリススキャン/ MCMC バイナリ分類の変数選択手順
• ペナルティ付きロジスティック回帰 バイナリ分類の変数選択手順

これはコミュニティWikiであるため、より多くの議論と更新があります。

ある意味で、変数の順序付けは許可するが変数の選択は許可しない手順を提供します（機能の数の選択方法については非常にわかりにくいので、クロス検証を使用すると思いますか？）この方向の答えは？これはあなたが変数の数を選択する方法についての情報を追加するために、回答writterするコミュニティ必要はありませんされてウィキとして（？私はここで、この方向での質問opennedているの数を選択することが非常に高い次元でのクロス検証を（非常に高次元の分類で使用される変数））

非常に一般的なアプローチは、ペナルティ付きロジスティック回帰で、対数尤度と、L1ノルム（「投げ縄」）、L2ノルム（「リッジ」）、2つの組み合わせで構成されるペナルティ項の合計を最大化します。 （「弾性」）、または変数のグループに関連するペナルティ（「グループラッソ」）。このアプローチにはいくつかの利点があります。

1. 強力な理論的特性があります。たとえば、Candes＆Planによるこの論文を参照して、圧縮センシングとの密接な関係を確認してください。
2. フリードマン・ハスティ・ティブシラーニによる統計学習の要素（オンラインで入手可能）など、アクセス可能な展示があります。
3. モデルに適合するソフトウェアがすぐに利用できます。Rにはglmnetパッケージがあり、これは非常に高速で、かなり大きなデータセットでうまく機能します。Pythonにはscikit-learnがあり、これにはL1およびL2ペナルティ付きロジスティック回帰が含まれます。
4. 画像認識、信号処理、生体認証、および金融の多くの応用論文に示されているように、実際には非常にうまく機能します。

いくつかの理由から、Leo BreimanとAdele CutleerによるRandom Forestsを少し好みます。

• カテゴリおよび連続予測子、および不均衡なクラスサンプルサイズに対処できます。
• アンサンブル/埋め込み方法として、交差検証が埋め込まれ、一般化誤差を推定できます。
• チューニングパラメーター（ツリーの成長のために選択された変数の％、構築されたツリーの数）に比較的影響を受けません。
• 変数の重要性の元の測定値を提供し、変数間の複雑な相互作用を明らかにすることができます（ただし、読みにくい結果につながる可能性があります）。

一部の著者は、ペナルティSVMまたはグラジエントブースティングマシンと同様に機能すると主張しました（後者については、たとえばCutler et al。、2009を参照）。

そのアプリケーションまたは利点の完全なカバーはトピックから外れているかもしれませんので、私はHastieらの統計的学習の要素を提案します。（15章）およびSayes et al。（2007）さらなる読み物。

最後になりましたが、RにはrandomForestパッケージを使用した素晴らしい実装があります。他のRパッケージも拡張または使用します（例：partyおよびcaret）。

参照：

カトラー、A。、カトラー、DR、スティーブンス、JR（2009）。Tree-Based Methods、in High-Dimensional Data Analysis in Cancer Research、Li、X. and Xu、R.（eds。）、pp。83-101、Springer。

Saeys、Y.、Inza、I。、およびLarrañaga、P.（2007）。バイオインフォマティクスの特徴選択技術のレビュー。バイオインフォマティクス、23（19）：2507-2517。

メトロポリススキャン/ MCMC

• いくつかの特徴をランダムに選択して開始し、それらでのみ分類器をトレーニングしてエラーを取得します。
• このワーキングセットをランダムに変更します。ある機能を削除するか、別の機能をランダムに追加するか、一部の機能を現在使用されていない機能に置き換えます。
• 新しい分類器をトレーニングし、そのエラーを取得します。dE新しいセットのエラーから前のセットのエラーを引いたものを差に格納します。
• 確率でmin(1;exp(-beta*dE))この変更を受け入れるか、そうでなければ拒否して、別のランダムな変更を試してください。
• それを長時間繰り返し、最終的にグローバルで最小のエラーを達成したワーキングセットを返します。

betaパラメータを賢く制御することで拡張できます。より簡単な方法はbeta、時間の経過とともに増加（物理的アナロジーで温度を下げる）するときにシミュレーテッドアニーリングを使用して、変動を減らし、アルゴリズムを最小に近づけることです。難しいのは、レプリカ交換を使用することです。

汎化のパフォーマンスのみに関心がある場合は、機能の選択を行わず、代わりに正則化（リッジ回帰など）を使用することをお勧めします。機械学習コミュニティでは、機能の選択に関していくつかの未解決の課題があり、機能の選択ではなく正則化に依存する方法は、一般的には少なくとも良くなります。

貪欲な前方選択。

この方法の手順は次のとおりです。

• トレインと検証セットがあることを確認してください
• 次を繰り返します
  • まだ選択されていない単一の機能と、以前に選択したすべての機能を使用して、分類器を個別にトレーニングします。
  • 結果が改善する場合は、最高のパフォーマンス機能を追加するか、手順を停止します

後方排除。

フルセットから開始し、残りのフィーチャに対して分類器を繰り返しトレーニングし、最小の重要度を持つフィーチャを削除し、分類器エラーが急速に増加する/許容できないほど高くなると停止します。

重要度は、各機能を繰り返し削除し、エラーの増加を確認するか、分類子が生成する場合は分類子から調整することで取得できます（ランダムフォレストの場合など）。