正則化項を使用したロジスティック回帰係数の解釈


回答:


10

ロジスティック回帰フィットで標準的に返される係数はオッズ比ではありません。それらは、他のすべてが等しい場合、それぞれの変数の1単位の変更に関連する「成功」のログオッズの変化を表します。係数をべき乗すると、結果をオッズ比として解釈できます(もちろん、これは切片には当てはまりません)。これについての詳細は、こちらの私の回答:ロジスティック回帰でのオッズ比に対する単純な予測の解釈にあります。

モデルフィットにペナルティを追加すると、(可能性として)推定された係数のフィット値が変更されますが、質問/上記で説明した意味での係数の解釈は変更されません。*

*(このステートメントについての混乱が最近の反対投票の原因であるのかと思います。)明確にするために:の適合係数、は、 1単位の変更に関連する成功の対数オッズの変化を表しますモデルの近似にペナルティ項が使用されていない場合、およびモデルの近似にペナルティ項が使用されている場合。どちらの場合もオッズ比ではありません。ただし、は、ペナルティ項がモデルの適合に使用されたかどうかに関係なく、 1単位の変化に関連するオッズ比です。ペナルティ項を備えたモデルは、ベイジアンフレームワーク内で解釈できますが、必ずしもそうである必要はありません。さらに、たとえそうであっても、バツ1β^1バツ1expβ^1バツ1β^1それでも、オッズ比ではなく、 1単位の変更に関連する成功の対数オッズの変化を表しています。 バツ1


1
コメントを残さずに投票する理由がわかりませんでした。とにかく、これは素晴らしい答えです。
DIGIO

7

正規化線形回帰と正規化ロジスティック回帰は、ベイジアンの観点からうまく解釈できます。正則化パラメーターは、重みの事前分布の選択に対応します。たとえば、正則化パラメーターの逆によって与えられる標準偏差をゼロに中心とした正規分布のようなものです。次に、トレーニングデータを介して、これらの分布が更新され、最終的に重みの事後分布が得られます。

したがって、たとえば、より大きな正則化パラメーターは、以前のように、重みがゼロに近いはずであると考えているため、この設定では、事後分布がゼロから遠く離れてサポートされる可能性が低くなります-これは正則化が「行うと想定されている」ものの直感。

正則化された回帰のほとんどの実装では、重みの最終出力は事後分布の期待値です。

ちなみに、非正規化回帰は基本的に同じ方法で解釈できます。これは、正規化パラメーターがゼロになる限界です。


これは、正則化された線形推定を解釈するための良い方法です。データに基づいて(たとえば、相互検証を介して) "prior"(正規化パラメーター)を選択すると、答えはまったく変わりますか?
Andrew M
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.