ロジスティック回帰はすべて1を予測し、0は予測しない

私は、ロジスティック回帰とランダムフォレストを使用して、ローンのデフォルトの確率を分析しています。

私がロジスティック回帰を使用する場合、予測は常にすべて1です（これはローンが良いことを意味します）。私はこれを見たことがなく、問題を解決するためにどこから始めればよいかわかりません。60万行の22列があります。列の数を減らすと、ロジスティック回帰で同じ結果が得られます。

なぜロジスティック回帰はそれほど間違っているのでしょうか？

**Actual from the data**

0 :   41932

1 :   573426

**Logistic regression output** 

prediction for 1 when actually 0: 41932
prediction for 1 when actually 1:573426

A**s you can see, it always predicts a 1**


**Random forests does better:**

actual 0, pred 0 : 38800 
actual 1, pred 0 : 27 
actual 0, pred 1 : 3132
actual 1, pred 1 : 573399

まあ、それはあなたのモデルが常に予測することは理にかなっています1.あなたのデータセットを見てください：それはあなたのポジティブなクラスに有利なように著しく不均衡です。ネガティブクラスは、データの約7％にすぎません。トレーニングセットのバランスを再調整するか、コスト重視のアルゴリズムを使用してください。

$Y$

ロジットを使用して分類すると、これが起こります。

ロジットは、ローンのデフォルトの確率（PD）を予測します。これは、0から1の間の数値です。次に、しきい値Dを設定して、ローンがPD> Dの場合にデフォルトにマークし、それを非PDの場合のデフォルト

当然、典型的なローン人口ではPD << 1。したがって、あなたのケースでは、7％は1年のデータである可能性がかなり高いです（PDは通常、年間ベースで報告されます）。これが複数年のデータである場合は、いわゆる累積PDのことです。この場合、たとえば、10年のデータの場合、cumPD = 7％は大きな数値ではありません。したがって、どの基準から見ても、データセットに問題があるとは言えません。私は、それが（デフォルトが比較的多数あるという意味で）素晴らしいとは言えない場合でも、ローンのデフォルトデータの少なくとも典型的な例として説明します。

ここで、モデルが次の3つのレベルのPDを予測するとします。

• 0.1（563,426）
• 0.5（20,000）
• 0.9（31,932）

また、これらのグループの実際のデフォルトは次のとおりだとします。

• 0
• 10,000
• 31,932

これで、Dを異なる値に設定して、行列がどのように変化するかを確認できます。最初にD = 0.4を使用しましょう：

• 実際のデフォルト、非デフォルトを予測：0
• 実際のデフォルト、予測デフォルト：41,932
• デフォルト以外の実際、デフォルト以外を予測：563,426
• 実際の非デフォルト、予測デフォルト：10,000

D = 0.6に設定した場合：

• 実際のデフォルト、非デフォルトの予測：31,932
• 実際のデフォルト、予測デフォルト：10,000
• デフォルト以外の実際、デフォルト以外の予測：573,426
• 実際の非デフォルト、予測デフォルト：0

D = 0.99に設定した場合：

• 実際のデフォルト、非デフォルトの予測：41,932
• 実際のデフォルト、予測デフォルト：0
• デフォルト以外の実際、デフォルト以外の予測：573,426
• 実際の非デフォルト、予測デフォルト：0

最後のケースは、モデルの結果に表示されるものです。この場合、分類器のしきい値Dを強調しています。Dの単純な変更は、予測の特定の特性を改善する場合があります。3つのケースすべてで予測PDは同じままで、しきい値Dのみが変更されていることに注意してください。

もちろん、ロジット回帰自体がくだらないことも可能です。したがって、この場合、少なくとも2つの変数があります。ロジットの仕様としきい値です。どちらも予測力に影響します。

問題が実際にクラス間の不均衡である場合は、クラスの重みのバランスを取ることから始めます。

log_reg = LogisticRegression(class_weight = 'balanced')

このパラメーター設定は、損失関数の誤った予測のペナルティがクラスの頻度に反比例して重み付けされることを意味します。これにより、説明した問題を解決できます。

まあ、それ以上の情報がないと言うのは難しいですが、ロジスティック回帰の定義により、フィッティングされたデータに基づいて飽和しています。したがって、方程式ではe ^ -t項が0になります。したがって、最初に調べるのは、実際の係数が何であるかを確認することです。

これは、スケーリングが不十分な変数が原因である可能性もあります。列の1つが他の列と比較して数値が大きいために混乱している問題がある可能性があります。

SMOTEを使用して、不均衡なデータセットのバランスをとることができます。参考となる優れた論文は次のとおりです。

Lifeng Zhou、Hong Wang、ランダムフォレストを使用した大規模な不均衡データに関するローンのデフォルト予測、TELKOMINIKA Indonesian Journal of Electrical Engineering、Vol.10、No.6、2012年10月、pp。1519〜1525、リンク。