LASSOを使用して変数を選択し、次にLogitを使用する

これで統計的推論が混乱することはわかっていますが、私は本当に正確なモデルにできるだけ近づくことにのみ関心があります。

私は二分予測変数の大きなセットで、二分結果変数を持っています。LASSOを使用してモデルに含める必要のある変数を選択し、選択した変数をLogit回帰に入力したいと考えています。

このアプローチの実用性に関して私が見落としていることはありますか？

model-selection lasso logit

— エフコール
ソース

線形回帰と同様に、ロジスティック回帰でもLASSOのL1ノルムペナルティを使用できることを見落としている。

— Scortchi-モニカの回復

そして、そのLASSOは縮小すると同時に選択を元に戻します。

— Scortchi-モニカの回復

だから、それは私が（縮小するのに対して）縮小すると思ったことです。STATAでLARSパッケージを使用しています。出力するモデルは切片を与えないので、縮小することはできませんよね？

— EvKohl、2015年

ロジットモデルの切片は、正と負の比率によって固定されます。

— Sycorax氏は、2015

データに1の列を常に含めて、切片項を推定できます。しかし、実際には、モデルを個別に実行する必要はありません。L1ペナルティでロジスティック回帰を使用するだけです。

— 2015年

回答:

LASSOロジスティックモデルに適合できるglmnetと呼ばれるRのパッケージがあります！これは、検討しているアプローチよりも簡単です。より正確には、glmnetはLASSOとリッジ回帰のハイブリッドですが、純粋なLASSOモデルを実行するためにパラメーターを設定できます。ロジスティック回帰に興味があるので、family = "binomial"を設定します。 $\alpha=1$

詳しくはこちらをご覧ください：http : //web.stanford.edu/~hastie/glmnet/glmnet_alpha.html#intro

— TrynnaDoStat
ソース

（+1）これには間違いなくStataパッケージもあります。Statalistが最適です。

— Scortchi-モニカの回復

ありがとう。実際にはSTATAパッケージはないと思います。私が見つけたすべての言及はRに関するものでした

— EvKohl、2015年

グーグルで最初の結果としてhomepages.ucl.ac.uk/~ucakgam/stata.htmlがstata lasso logistic得られます。

— Scortchi-モニカの回復

これを行うことができるPythonのパッケージを知っている人はいますか？

— rbm 2016

@rbmパーティーに遅れるのは確かですが、scikit-learnでロジスティックリグレッサに正則化を適用できます。

— Eli Korvigo 2017年

まず、線形確率モデルがロジットモデルに非常によく近似するという保証はありません。その結果、一方に対して選択された変数のサブセットは、もう一方にはあまり適切ではない可能性があります。

次に、最初のステップで変数を選択したにもかかわらず、再フィッティングによって収縮がまったく適用されません。深刻なキャリブレーションのミスのリスクと、おそらくわずかな差別の喪失。

$L_1$

— Scortchi-モニカの回復
ソース