ロジスティック回帰モデルの評価

私はロジスティックモデルに取り組んでおり、結果を評価するのに苦労しています。私のモデルは二項ロジットです。説明変数は、15レベルのカテゴリ変数、二分変数、および2つの連続変数です。私のNは8000以上です。

私は、投資する企業の決定をモデル化しようとしています。従属変数は投資（yes / no）です。15レベルの変数は、マネージャーが報告する投資のさまざまな障害です。残りの変数は、販売、クレジット、および使用済み容量の制御です。

以下は、rmsR のパッケージを使用した私の結果です。

  Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
Obs          8035    LR chi2     399.83    R2       0.067    C       0.632    
 1           5306    d.f.            17    g        0.544    Dxy     0.264    
 2           2729    Pr(> chi2) <0.0001    gr       1.723    gamma   0.266    
max |deriv| 6e-09                          gp       0.119    tau-a   0.118    
                                           Brier    0.213                     

          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept -0.9501 0.1141 -8.33  <0.0001 
x1=10     -0.4929 0.1000 -4.93  <0.0001 
x1=11     -0.5735 0.1057 -5.43  <0.0001 
x1=12     -0.0748 0.0806 -0.93  0.3536  
x1=13     -0.3894 0.1318 -2.96  0.0031  
x1=14     -0.2788 0.0953 -2.92  0.0035  
x1=15     -0.7672 0.2302 -3.33  0.0009  
x1=2      -0.5360 0.2668 -2.01  0.0446  
x1=3      -0.3258 0.1548 -2.10  0.0353  
x1=4      -0.4092 0.1319 -3.10  0.0019  
x1=5      -0.5152 0.2304 -2.24  0.0254  
x1=6      -0.2897 0.1538 -1.88  0.0596  
x1=7      -0.6216 0.1768 -3.52  0.0004  
x1=8      -0.5861 0.1202 -4.88  <0.0001 
x1=9      -0.5522 0.1078 -5.13  <0.0001 
d2         0.0000 0.0000 -0.64  0.5206  
f1        -0.0088 0.0011 -8.19  <0.0001 
k8         0.7348 0.0499 14.74  <0.0001 

基本的に、2つの方法で回帰を評価します。a）モデルがデータにどれだけ適合するか、b）モデルが結果をどれだけうまく予測するかです。適合度（a）を評価するために、この場合、一意の共変量の数がNに近いため、X2分布を仮定できないため、カイ2乗に基づく逸脱テストは適切ではないと思います。この解釈は正しいですか？

epiRパッケージを使用して共変量を確認できます。

require(epiR)
logit.cp <- epi.cp(logit.df[-1]))

    id n x1   d2 f1 k8
     1 1 13 2030 56  1
     2 1 14  445 51  0
     3 1 12 1359 51  1
     4 1  1 1163 39  0
     5 1  7  547 62  0
     6 1  5 3721 62  1
    ...
    7446

また、Hosmer-Lemeshow GoFテストは時代遅れであり、テストを実行するためにデータを10で割りますが、これはかなりarbitrary意的です。

代わりに、rmsパッケージに実装されているle Cessie–van Houwelingen–Copas–Hosmerテストを使用します。このテストがどのように実行されるのか正確にはわかりません。それについての論文はまだ読んでいません。いずれの場合でも、結果は次のとおりです。

Sum of squared errors    Expected value|H0           SD             Z            P
         1711.6449914         1712.2031888    0.5670868    -0.9843245    0.3249560

Pは大きいため、モデルが適合しないと言う十分な証拠はありません。すごい！しかしながら....

モデル（b）の予測能力を確認すると、ROC曲線を描き、AUCがであることがわかります0.6320586。それはあまり良くありません。

だから、私の質問をまとめると：

1. 実行するテストはモデルをチェックするのに適切ですか？他にどのようなテストを検討できますか？

2. このモデルは有用だと思いますか、それとも比較的貧弱なROC分析結果に基づいて却下しますか？

ロジスティック回帰モデルの検査に適用できるテストは数千ありますが、その多くは、目標が予測、分類、変数選択、推論、因果モデリングなどであるかどうかによって異なります。たとえば、Hosmer-Lemeshowテストは、モデルのキャリブレーションと、予測値がリスク単位で分割されたときに予測頻度と一致する傾向があるかどうか。10の選択は任意ですが、テストの結果は漸近的であり、簡単に変更できます。HLテストとAUCは、ロジスティック回帰モデルの推定に使用されたのと同じデータで計算された場合、（私の意見では）非常に興味深い結果をもたらします。SASやSPSSのようなプログラムが、大幅に異なる分析の統計を頻繁に報告するのは事実上のことです。ロジスティック回帰結果を提示する方法。予測精度のテスト（例：HLおよびAUC）は、独立したデータセット、または（さらに良い）異なる期間に収集されたデータを使用して、モデルの予測能力を評価するのに適しています。

もう1つの注意点は、予測と推論は非常に異なることです。予測を評価する客観的な方法はありません。0.65のAUCは、1年の乳癌リスクのような非常にまれで複雑なイベントの予測に非常に適しています。同様に、0.05の従来の偽陽性率は一般的に放り出されるため、推論はarbitrary意的であると非難されることがあります。

私があなただったら、あなたの問題の説明は投資でマネージャーが報告した「障害」の影響をモデル化することに興味があるように思えたので、モデル調整された関連付けを提示することに焦点を合わせます。モデルオッズ比のポイント推定値と95％信頼区間を提示し、それらの意味、解釈、および有効性を他の人と議論する準備をします。森林プロットは、効果的なグラフィカルツールです。また、データにこれらの障害の頻度を示し、他の調整変数による調停を提示して、未調整の結果で交絡の可能性が小さいか大きいかを示す必要があります。私はさらに進んで、管理者が同様の問題を報告する傾向があるかどうかを判断するために、管理者が報告した障害間の一貫性のためにクロンバッハのアルファなどの要因を調査します。

あなたは手元の質問ではなく、数字に集中しすぎていると思います。モデル結果が表示される前に、適切な統計表示の90％が行われます。