検量線の解釈


7

私は段階的に導出されたバイナリロジスティック回帰モデルを持っています。R calibrate(, bw=200, bw=TRUE)rmsパッケージの関数を使用して、将来のキャリブレーションを推定しました。出力を以下に示します。これは、バックワードステップダウンロジスティックモデルのブートストラップ過適合が補正された検量線推定を示しています。しかし、私はそれをどのように解釈するかわかりません。

ここに画像の説明を入力してください

キャリブレーションとは、将来の予測確率が観測された確率と一致するかどうかを指すことを理解しています。予測モデルは、新しい被験者の予測が極端すぎる(つまり、結果の観測確率が低リスク被験者の予測よりも高く、高リスク被験者の予測よりも低い)ことに悩まされています。これは、リスクの低いグループの理想(破線)よりも高く、リスクの高いグループの理想よりも低い点線の曲線をトレースするとわかります。

同じ推論を使用すると、バイアスが補正された曲線は、さらに極端な確率を生成するという意味で、より悪くなります。私の解釈は正しいですか?


1
bw=200読む必要がありますbw=TRUE
フランクハレル2017

回答:


2

ラベル付けされた曲線はbias-corrected「自信過剰」のようです。に対する予測Predicted P(Class=1)<0.5は低すぎ、に対する予測Predicted P(Class=1)>0.5は高すぎActual probabilityます。

これは、ラベルが付けられた曲線の場合にもapparent当てはまりますが、極端な場合(大まかに:x <= 0.28またはx> = 0.9)は、実際にはless 自信がある。

のバイアス修正方法の詳細はわかりrmsませんが、結果が必ずしも「悪い」とは思いません。修正を行うと、確率推定値は理想と平行になります。つまり、モデルが少し自信過剰であることがわかっていますが、P(クラス)= 0.2の母集団の平均予測の差は、P(クラス)= 0.4の母集団の平均予測の半分であると言えます。 、これは以前のケースではなく、おそらく人が望んでいたことでした。


1
私は最後の段落を強調しません、さもなければ良い答え@ user99889を。ブートストラップのオーバーフィッティングが補正されたキャリブレーション曲線は、オーバーフィッティングがあり、見かけ上のフィットが楽観的に良好であることを示しています。ブートストラップ補正された曲線は、ほとんどの場合、見かけの曲線よりも45度の線から遠く離れています。概して、リスクの見積もりが必要な場合、適度な過剰適合が存在し、その結果はフィールドでの使用にはおそらく受け入れられないと思います。
フランクハレル2017
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.