ロジスティック回帰残差分析

この質問は一種の一般的で長々としたものですが、どうかご容赦ください。

私のアプリケーションには、多くのデータセットがあり、各データセットは、最大20,000個のデータポイントと最大50個の機能と1つの従属バイナリ変数で構成されています。正規化されたロジスティック回帰（Rパッケージglmnet）を使用してデータセットをモデル化しようとしています

分析の一環として、次のように残差プロットを作成しました。各機能について、その機能の値に従ってデータポイントを並べ替え、データポイントを100個のバケットに分割し、各バケット内の平均出力値と平均予測値を計算します。これらの違いをプロットします。

残差プロットの例を次に示します。

上記のプロットでは、特徴の範囲は[0,1]（1の濃度が濃い）です。ご覧のとおり、特徴値が低い場合、モデルは1出力の可能性を過大評価する方向に偏っているように見えます。たとえば、左端のバケットでは、モデルは確率を約9％過大評価しています。

この情報を活用して、このバイアスを大まかに修正するために、機能の定義を簡単な方法で変更したいと思います。交換などの変更

$x \rightarrow \sqrt{x}$

または

$x \rightarrow f_a(x) = \cases{a & if $x<a$ \cr x & else}$

これどうやってするの？人間が50個のプロットすべてをすばやくスクロールして変更できるようにする一般的な方法論を探しています。これをすべてのデータセットに対して実行し、頻繁に繰り返して、データが時間の経過とともに最新の状態に維持されるようにします。

一般的な質問として、これは正しいアプローチですか？Googleが「ロジスティック回帰残差分析」を検索しても、実用的なアドバイスが得られても多くの結果は返されません。彼らは、「このモデルはぴったりだろうか？」という質問に答えることに固執しているようです。Hosmer-Lemeshowのようなさまざまなテストを提供して回答します。しかし、私のモデルが良いかどうかは気にしません。もっと良くする方法を知りたいです！

ロジスティック回帰では、バイアスをそのように評価することはできません。ロジスティック回帰は、対数オッズまたはロジットスコアlog（p /（1-p））でのみ偏らないと予想されます。比率は歪んでいるため、偏って見えます。対数オッズに関して残差をプロットする必要があります。

これを行うための一般的なソフトウェアは存在しそうにありません。おそらく、回帰の問題を修正するための一般的な理論がないためです。したがって、これは理論的に根拠のある手順というよりも、「私がやろう」というタイプの答えです。

作成するプロットは、基本的に100個のビンを含む視覚的なHLテストですが、ビニングを行うために予測確率の代わりに単一の予測子を使用します。これは、プロシージャがHLテストのプロパティの一部を継承する可能性が高いことを意味します。

あなたの手順は合理的に聞こえますが、基準を「オーバーフィット」することに注意する必要があります。基準は推定プロセスの一部になっているため、診断としてはあまり有用ではありません。また、直感で何かをするときはいつでも、意思決定プロセスをできるだけ詳細に書き留めてください。これは、一般的なプロセスまたは理論の種を発見する可能性があり、それが開発されると、より良い手順につながる（いくつかの理論に関してより自動で最適な）ためです。

調査する必要があるプロットの数を最初に減らすことが、1つの方法だと思います。これを行う1つの方法は、各変数を3次スプラインとして近似し、非ゼロの非線形推定値を持つプロットを調べることです。データポイントの数を考えると、これは非線形性の簡単な自動修正でもあります。これにより、モデルが50から200 + 50kに拡張されます（kはノットの数です）。これは、「真の」変換の「統計的なテイラー級数展開」を適用すると考えることができます。

この後も診断結果が悪く見える場合は、インタラクション用語を追加してみます。

あなたの質問の一部は、ここよりもスタックオーバーフローの領域であるインタラクティブプログラムを書くことについてのようです。探索的データ分析ツールを検索すると便利な場合があります。これらのツールには「ピギーバック」できる機能がある可能性が高いためです。