ロジスティック回帰のWoE（証拠の重み）による変数の置換

これは、同僚の何人かが従う練習や方法に関する質問です。ロジスティック回帰モデルの作成中に、カテゴリ変数（またはビニングされた連続変数）をそれぞれの証拠の重み（WoE）に置き換える人々を見てきました。これは、リグレッサーと従属変数の間に単調な関係を確立するために行われると思われます。私の知る限り、モデルが作成されると、方程式の変数はデータセットの変数ではありません。むしろ、方程式の変数は、従属変数を分離する際の変数の重要性や重みのようなものになりました！

私の質問は、どのようにモデルまたはモデル係数を解釈するのですか？たとえば、次の方程式の場合：

ログ （ \frac{p}{1 - p} ） = β_{0} + β_{1} {バツ}_{1}

$\log\bigg(\frac{p}{1-p}\bigg) = \beta_0 + \beta_1x_1$

は、変数 1単位増加に対する比の相対的増加であると言えます。 $\exp(\beta_1)$ $x_1$

しかし、変数がそのWoEに置き換えられた場合、解釈は次のように変更されます。

私はインターネットでこの実践を見てきましたが、この質問の答えはどこにも見つかりませんでした。このコミュニティ自体からのこのリンクは、誰かが書いた似たようなクエリに関連しています：

WoEは、ロジスティック回帰の従属変数であるオッズ比の自然対数との線形関係を表示します。したがって、変数の実際の値の代わりにWoEを使用する場合、ロジスティック回帰ではモデルの誤指定の問題は発生しません。

しかし、まだ説明がわかりません。不足しているものを理解してください。

— サムロイ
ソース

\exp (β_{1})

$\exp(\beta_1)$ は、 1単位の増加に関連するオッズ比であり、 1単位の増加に関連するオッズ比の相対増加ではありません

x_{1}

$x_1$

x_{1}

$x_1$ 」。

— GUNG -復活モニカ

いや。明らかに取り除くために

β_{0}

$\beta_{0}$ をは、べき乗後のLHSの比率を取る必要があります

— -SamRoy

オッズはp /（1-p）であるため、p（x）= exp（𝛽0 + 𝛽1x）およびp（x + 1）= exp（𝛽0 + 𝛽1x + 𝛽1）の場合、p（x + 1）= exp （𝛽0 + 𝛽1x）exp（𝛽1）および最終的にオッズ比p（x + 1）/ p（x）= exp（𝛽1）stats.stackexchange.com/users/7290/gung

— hwrd

回答:

WoEメソッドは2つのステップで構成されます。

1-（連続）変数をいくつかのカテゴリに分割するか（離散）変数をいくつかのカテゴリにグループ化します（どちらの場合も、1つのカテゴリのすべての観測値が従属変数に「同じ」影響を与えると仮定します）
2-WoEを計算します各カテゴリの値（元のx値はWoE値に置き換えられます）

WoE変換には（少なくとも）3つのプラスの効果があります
。1）独立変数を変換して、従属変数との単調な関係を確立できます。実際、これ以上のことを行います-単調な関係を確保するには、任意の順序付けられたメジャー（1、2、3、4など）に「再コード化」するだけで十分ですが、WoE変換は実際に「ロジスティック"ロジスティック回帰に自然なスケール
2）あまりにも多くの（まばらに取り込まれた）離散値を持つ変数の場合、これらはカテゴリにグループ化され（密に取り込まれ）、WoEを使用してカテゴリ全体の情報を表現できます。
3）従属変数に対する各カテゴリの（単変量）効果は、WoEが標準化された値であるため、カテゴリ間および変数間で簡単に比較できます（たとえば、既婚者のWoEと手動労働者のWoEを比較できます）

また、（少なくとも）3つの欠点があります
。1）いくつかのカテゴリへのビニングによる情報の損失（変動）
2）独立変数間の相関を考慮しないための「単変量」尺度
3）カテゴリの作成方法に応じて変数の効果を操作（オーバーフィット）

従来、回帰のベータ（xがWoEに置き換えられた）はそれ自体解釈されませんが、WoEを掛けて「スコア」を取得します（たとえば、変数「婚status状況」のベータはWoEを掛けることができます）「既婚者」グループは既婚者のスコアを確認します;変数「職業」のベータは「マニュアル労働者」のWoEを掛けてマニュアル労働者のスコアを確認できます。これらの2つのスコアを合計し、結果にどの程度の影響があるかを確認します）。スコアが高いほど、結果が1に等しい確率が高くなります。

— ソロモン王の馬
ソース

（+1）応答と単調な関係を持つように予測変数を再コード化することが有利なのはなぜですか？

— スコルチ-モニカの復職

@Scortchi私は例を考えることができます-独立変数は人々の身長（cmで測定）、人々は素敵な服を買いに行き、従属変数はバイナリイベントになります-適切で快適な服を買うことができるかできないか。どうやら、非常に小さくて非常に背の高い人は適切な服を買うのに苦労しますが、真ん中の人は簡単にそれをすることができます。単純な（相互作用および変換なしの）回帰では、適切な服を買う確率が人の身長とともに増加または減少することをモデル化することしかできませんでした

— キングソロモンの馬

経験的モデリングではなく、予測子の非単調な変換は通常使用されません。相互作用を含めると、他の予測子を含めることができるように、条件付きの非単調な関係を削除または導入できます。ただし、多項式またはスプライン基底関数で予測変数を表すことは、それらを可能にする簡単な方法です。もう1つは、ビニングを行い、参照レベルコーディングなどを使用して、カテゴリとして扱うことです。少なくとも最後の方法は、このWoE変換よりもかなり単純です。どれもシェア犠牲にし...

— Scortchi -復活モニカ

...応答に関して予測変数を定義することから生じる推論と解釈可能性。＆はすべて、周辺関係が単調である（またはその逆）場合でも、非単調な条件付き関係をモデル化することができます。私が得ているのは、WoE変換が問題を探す解決策のように思えることだと思います。より広く使用されている方法よりも優れた予測を生成する状況のクラスはありますか？-ただし、ここで回答した質問とは異なる質問です（おそらくstats.stackexchange.com/q/166816/17230）。

— Scortchi-モニカの復職

カテゴリデータが既にある場合はどうでしょうか。「単調な関係を確立する」唯一の利点は何ですか？WoEの重要なコンポーネントは、実際にはビニングプロセスにあるようです

— information_interchange

ロジスティック回帰でWOEを使用する合理的な理由は、Semi-Naive Bayesian Classifier（SNBC）と呼ばれることもあるものを生成することです。このブログ投稿の冒頭は、物事を非常によく説明しています：http : //multithreaded.stitchfix.com/blog/2015/08/13/weight-of-evidence/

モデルのベータパラメーターは、他の予測変数の存在による各素朴な効果（別名、証拠の重み）の線形バイアスであり、他の予測因子。

— スティーブン
ソース

証拠の重み（WoE）は、変数の変換と選択を実行するための強力な手法です。信用度のスコアリングで広く使用されて、良い顧客と悪い顧客の分離を測定します（変数）。利点::-欠損値の処理分布の対数値に基づいた変換の外れ値を処理します。適切なビニング手法を使用することにより、ダミー変数を必要とせず、独立および従属間の単調な関係を確立できます。

mono_bin（）=数値変数に使用されます。char_bin（）=文字変数に使用されます。

— クリシュナ75
ソース