ロジスティック回帰のランキング機能

私はロジスティック回帰を使用しました。6つの機能があります。他の機能よりも結果に影響を与えるこの分類子の重要な機能を知りたいです。Information Gainを使用しましたが、使用する分類子に依存しないようです。特定の分類子（ロジスティック回帰など）に基づいて機能を重要度に従ってランク付けする方法はありますか？任意の助けをいただければ幸いです。

あなたが探している答えはボルタのアルゴリズムかもしれません。これは、「すべての関連性」の意味で機能の重要性を直接測定するラッパーメソッドであり、Rパッケージに実装されています。これ は、機能の重要性がy軸にあり、ここでは青色でnullがプロットされています。このブログ投稿では、アプローチについて説明しています。非常に明確なイントロとして読むことをお勧めします。

$R^2$

$R^2$

ロジスティック回帰モデルで機能の重要性をランク付けする一般的なアプローチのリストは次のとおりです。

1. $R^2$
2. 妥当性：各予測子によって個別に説明可能な完全モデルの対数尤度の割合
3. 一致：肯定応答変数と否定応答変数を区別するモデルの機能を示します。予測子ごとに個別のモデルが構築され、重要度スコアは、その予測子のみに基づく真陽性の予測確率です。
4. 情報値：情報値は、予測子から得られた結果に関する情報の量を定量化します。これは、他の予測子を考慮せずに、各予測子の分析に基づいています。

参照：

1. ロジスティック回帰における説明変数の相対的重要度の測定について
2. Rにおける線形リグレッサの相対的な重要性
3. 相対的な重要性と価値、バリーフェルドマン（PMD法）

$$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda {{\left\| {\bf{w}} \right\|}^2}}$$ $x_i$$y_i$$i$$\mathbf{w}$$b$${{f_{w,b}}({x_i})}$

$\mathbf{x}$$\mathbf{x}$

$\ell_1$

$$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda \left| {\bf{w}} \right|}$$

$\lambda$$\mathbf{w}$

これがお役に立てば幸いです。他にご不明な点がありましたらお尋ねください。