2つ以上の分類モデルを比較するために使用される一般的な尺度の1つは、ROC曲線下面積（AUC）を間接的にパフォーマンスを評価する方法として使用することです。この場合、通常、AUCが大きいモデルは、AUCが小さいモデルよりもパフォーマンスが高いと解釈されます。しかし、Vihinen、2012（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/）によると、両方の曲線が交差すると、そのような比較はもはや有効ではなくなります。なぜそうですか？
たとえば、ROC曲線と以下のAUCに基づいてモデルA、B、Cについて確認できるものは何ですか？
回答:
A のROC曲線は、可視化TPR及びFPRを可能なすべてのためのしきい値。
2つのROC曲線「A」および「B」をプロットし、それらが互いに交差しない場合、すべての可能なFPR値に対してより高いTPRが得られるため、分類子の1つが明らかにパフォーマンスが向上しています。ROCの下の領域も明らかに大きくなります。
今、それらが互いに交差する場合、FPRとTPRが両方の曲線「A」と「B」で同じになる点があります。1つのROC曲線のパフォーマンスが優れているとはもはや言えません。これは、どのトレードオフを好むかに依存するからです。あなたがしたいですか、高精度/低リコールまたは低精度/高リコール？
例：1つの分類子が0.2のFPRではるかに優れたパフォーマンスを発揮するが、高いRecallに到達することが重要である場合、関心のないしきい値で優れたパフォーマンスを示します。
グラフのROC曲線について：達成したいことさえ知らなくても、「A」のパフォーマンスがはるかに優れていることが簡単にわかります。紫色の曲線が他の曲線と交差するとすぐに再び交差します。「B」と「C」のパフォーマンスがわずかに向上している小さな部分にはおそらく興味がないでしょう。
次のグラフには、2つのROC曲線があり、これらも互いに交差しています。ここでは、互いに補完し合うため、どちらが優れているかわかりません。
1日の終わりに、分類のしきい値を1つ選択することに関心があり、AUCはモデルの一般的なパフォーマンスの推定のみを提供することに注意してください。