私はおそらく以前に100回解決された問題を扱っていますが、どこで答えを見つけることができるかわかりません。

ロジスティック回帰を使用するとき、多くの特徴与えられ、バイナリのカテゴリ値を予測しようとすると、よく予測する特徴のサブセットを選択することに興味があります。 y $x_1,...,x_n$$y$$y$

投げ縄に似た使用可能な手順はありますか？（線形回帰に使用されるなげなわを見ただけです。）

適合モデルの係数を見て、さまざまな特徴の重要性を示していますか？

編集-いくつかの回答を見た後の説明：

1. 当てはめられた係数の大きさについて言及するときは、正規化された（平均0および分散1）特徴に当てはめられたものを意味します。そうでない場合、@ probabilityislogicが指摘したように、1000xはxよりも重要度が低いように見えます。

2. （@Davideが提供していたように）最良のkサブセットを単に見つけることに興味はありませんが、さまざまな機能の相互の重要性を比較検討しています。たとえば、1つの機能は「年齢」で、もう1つの機能は「年齢> 30」です。それらの段階的な重要性は小さいかもしれませんが、両方とも重要かもしれません。

DWinの応答は答えを提供しますが、洞察はほとんどないので、いくつかの説明を提供することは役立つと思いました。

2つのクラスがある場合、基本的にはを推定しようとしています。これが必要なすべてであり、ロジスティック回帰モデルは以下を前提としています。$p=P(y_i=1|X=x_i)$

$log \frac{p}{1-p} = log \frac{P(y_i=1|X=x_i)}{P(y_i=0|X=x_i)}=\beta _0 + \beta _1 ^T x_i$

特徴重要性とは、それがどのように影響するか、つまり何であるかということです。P ∂ $j$$p$$\frac{\partial p}{\partial x_{ij}}$

小さな変化の後、あなたはそれを見ることができます

$p=\frac{e^{\beta _0 + \beta _1 ^T x_i}}{1+e^{\beta _0 + \beta _1 ^T x_i}}$。

導関数を計算すると、それがわかります

$\frac{\partial p}{\partial x_{ij}} = \beta_j e^{\beta_0 + \beta _1 ^T x_i}$

これは明らかに他のすべての変数の値に依存します。ただし、係数のSIGNは希望どおりに解釈できることがわかります。負の場合、この機能により確率pが減少します。

推定手順では、モデルが正しいと想定してを推定しようとしています。正則化を使用すると、これらの推定にいくらかのバイアスを導入します。リッジ回帰と独立変数の場合、閉じた形式のソリューションを取得できます。$\beta$

$\hat{\beta^r} = \frac{\hat{\beta}}{\hat{\beta} + \lambda}$。

あなたが見ることができるように、これはあなたの係数の符号を変えることができるので、その解釈さえばらばらになります。

あなたの最後の質問への答えはフラットNOです。係数の大きさは決して重要性の尺度ではありません。投げ縄はロジスティック回帰に使用できます。あなたはその地域をもっと熱心に研究する必要があります。あなたが研究する必要がある方法は、「ペナルティを課された」方法を含むものです。「シャドウされた」予測子（どこかで定義されている可能性があるが、一般的には使用されていない用語）を明らかにする検出メソッドを探している場合は、予測子空間内の相互作用と非線形構造を検査するメソッドと、その空間への結果のリンク。フランク・ハレルのテキスト「回帰モデリング戦略」には、これらの問題と手法に関するかなりの議論があります。

後方選択戦略は、有効な結果を提供できません（ただし、結果は提供されます）。100個のイベントに対する20個のランダムな予測子のケースを見ると、逆方向選択プロセスで選択される2つまたは3つが見つかるはずです。現実世界での後方選択の普及は、慎重な統計的考察ではなく、SASおよびSPSSでの容易な可用性と、これらの製品のユーザーベースの高度な欠如を反映しています。Rのユーザーベースは、そのようなメソッドや、メーリングリストにリクエストを投稿するユーザーにアクセスするのが難しいため、通常、逆方向（または順方向）の選択方法に関連する問題についてアドバイスを受けます。

英語は私の母国語ではないので、何が問題なのかわからなかったかもしれませんが、最善のモデルを見つける必要がある場合は、すべての共変量を含むモデルから始めて、逆手順（および最終的には相互関係の追加）を試すことができます。次に、residuals_vs_predicted値とqq-plotグラフの両方を見て、モデルが現象を適切に記述しているかどうかを確認できます