どのようにして、リーブワンアウト相互検証のROC曲線を生成しますか?


10

(たとえば)5分割交差検証を実行する場合、通常は5分割ごとに個別のROC曲線を計算し、多くの場合stdで平均ROC曲線を計算します。開発者。曲線の太さとして表示されます。

ただし、各フォールドに単一のテストデータポイントしかないLOO交差検証の場合、この単一のデータポイントのROC "曲線"を計算することは意味がありません。

私はすべてのテストデータポイントを(個別に計算されたp値と共に)取得し、それらを1つの大きなセットにプールして単一のROC曲線を計算しましたが、これは統計的に正確な方法ですか?

(LOO相互検証の場合のように)各フォールドのデータポイントが1つである場合にROC分析を適用する正しい方法は何ですか?


どうして?あなたはそのような生き物で何を達成したいですか?

ある範囲のp値のしきい値全体で予測全体のパフォーマンスを分析する必要があります。ROC曲線は、他のすべてのタイプの相互検証に従来使用してきたものです。したがって、基本的にはROC分析がk分割交差検証に役立つのと同じ理由です。LOO xvalに異なる類似のアプローチがある場合、それも知っておくとよいでしょう。また、十分なデータがあり、これが問題にならない場合は、代わりに10倍xvalのようなことをします。
user1121 2011年

1
私はあなたが賢明にそれをしていると思います、真のラベルと各ケースの予測値を使用して単一のROCカーブを作成します(そのケースはホールドアウトでした)
B_Miner

回答:


15

σμrn=(rμ)/σ、その後、正規化された出力のセットからROC曲線を作成できます。これは、より多くのパラメーターを推定しているという警告があるため、別のテストセットに基づいてROC曲線を作成した場合よりも結果がわずかに異なる場合があります。

分類子の出力を正規化したり、確率に変換したりできない場合は、LOO-CVに基づくROC分析は適切ではありません。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.