LASSO回帰係数の解釈

私は現在、約300の変数と800の観測値を持つデータセットのバイナリ結果の予測モデルの構築に取り組んでいます。このサイトでは、段階的回帰に関連する問題と、なぜそれを使用しないのかについて多くを読みました。

私はLASSOの回帰とその機能選択機能を読んでおり、「キャレット」パッケージと「glmnet」を使用してそれを実装することに成功しています。

私は最適で、モデルの係数を抽出することができるよlambdaとalpha「キャレット」から。ただし、係数の解釈方法には慣れていません。

LASSO係数はロジスティック回帰と同じ方法で解釈されますか？
LASSOから選択した機能をロジスティック回帰で使用することは適切でしょうか？

編集

LASSO回帰の指数係数のように、他のすべての係数を一定に保ちながら係数の1単位の対数オッズが変化するときの係数の解釈。

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

— マイケル・ルー
ソース

「ロジスティック回帰と同じように解釈される」とはどういう意味ですか？あなたが一般化したい解釈を正確に知ることは非常に役に立ちます。

— Matthew Drury

@Matthew Drury-私のコースはLASSOに行ったことがないので、時間を割いて手伝ってくれてありがとう。一般に、大学院で教えた内容から、ロジスティック回帰の指数係数は、他のすべての係数を一定に保ちながら、係数の1単位の増加の対数オッズを生成します。

— Michael Luu

α

$\alpha$

λ

$\lambda$

α

$\alpha$

私の知る限り、ほとんどのLASSO実装では係数の有意性検定が導入されていません。つまり、OLSで統計的に有意な変数を決定できる一方で、選択された対応する変数のLASSO係数が考慮すべき「重要な」変数であるというより弱いステートメントを作成することを除いて、LASSOではそれができないという違いはないでしょうか？

— godspeed

LASSO係数はロジスティック回帰と同じ方法で解釈されますか？

言い換えると、LASSO係数は、たとえば、ロジスティック回帰の~~OLS~~最尤係数と同じように解釈されますか？

LASSO（ペナルティ付き推定法）は、たとえば、~~OLS~~最尤法（ペナルティなし法）と同じ量（モデル係数）を推定することを目的としています。モデルは同じで、解釈は同じです。LASSOの数値は、通常、~~OLSの~~最尤とは異なります。一部はゼロに近く、その他は正確にゼロになります。かなりの量のペナルティが適用されている場合、LASSOの推定値は、~~OLSの~~最尤推定値よりも真の値に近くなり、望ましい結果になります。

LASSOから選択した機能をロジスティック回帰で使用することは適切でしょうか？

これには固有の問題はありませんが、機能選択だけでなく係数推定にもLASSOを使用できます。上記で述べたように、LASSOの推定は、たとえば、~~OLSの~~最尤推定よりも正確な場合があります。

— リチャードハーディ
ソース

この回答をありがとうございました！理にかなっている！この件に関して私の限られた知識を失礼します。別のコメントで述べたように、最適なラムダとアルファを選択するため、キャレットを介してLASSOではなくエラスティックネットを使用している可能性があります。係数についても同じことが言えますか？

— Michael Luu 2016

はい、そうです。基本的なロジックは変わりません。

— Richard Hardy

あなたは「解釈は変わらない」と書く。この点を理解してくれませんか。重回帰設定でのOLS係数の解釈は、部分回帰プロットに依存しているようです。ただし、このプロパティはラッソ係数には適用されないため、解釈が異なると考えられます。

— user795305 2017年

@Ben、基礎となる統計モデルを想定すると、そのパラメーターをさまざまな方法で推定できます。一般的なものはOLSと投げ縄です。推定された係数は同じターゲットを対象としており、両方にある程度の推定誤差（二乗した場合、バイアスと分散に分解される可能性があります）があるため、この意味でそれらの解釈は同じです。もちろん、メソッドは同じではないため、異なる推定係数値を取得します。メソッドとそれらの代数的および幾何学的解釈に関心がある場合、これらは同じではありません。しかし、主題の解釈は同じです。

— Richard Hardy

(1, \dots, p)^{T}

$(1, \dots, p)^T$