どのようにして、リーブワンアウト相互検証のROC曲線を生成しますか？

（たとえば）5分割交差検証を実行する場合、通常は5分割ごとに個別のROC曲線を計算し、多くの場合stdで平均ROC曲線を計算します。開発者。曲線の太さとして表示されます。

ただし、各フォールドに単一のテストデータポイントしかないLOO交差検証の場合、この単一のデータポイントのROC "曲線"を計算することは意味がありません。

私はすべてのテストデータポイントを（個別に計算されたp値と共に）取得し、それらを1つの大きなセットにプールして単一のROC曲線を計算しましたが、これは統計的に正確な方法ですか？

（LOO相互検証の場合のように）各フォールドのデータポイントが1つである場合にROC分析を適用する正しい方法は何ですか？

$\sigma$$\mu$$r$$n = (r-\mu)/\sigma$、その後、正規化された出力のセットからROC曲線を作成できます。これは、より多くのパラメーターを推定しているという警告があるため、別のテストセットに基づいてROC曲線を作成した場合よりも結果がわずかに異なる場合があります。

分類子の出力を正規化したり、確率に変換したりできない場合は、LOO-CVに基づくROC分析は適切ではありません。