ROCの曲線下面積と全体の精度

ROCの曲線下面積（AUC）と全体的な精度について少し混乱しています。

1. AUCは全体の精度に比例しますか？言い換えると、全体の精度が大きい場合、AUCが大きくなりますか？または、それらは定義により正の相関がありますか？

2. それらが正の相関関係にある場合、一部の出版物でそれらの両方を報告するのはなぜですか？

3. 実際のケースでは、分類タスクを実行し、次のように結果を得ました。分類子Aの精度は85％、AUCは0.98、分類子Bの精度は93％、AUCは0.92です。質問は、どの分類器の方が良いですか？または、これらのような同様の結果を得ることが可能ですか？（実装にバグがあるかもしれません）

AUC（ROCに基づく）と全体的な精度は同じ概念ではないようです。

全体の精度は1つの特定のカットポイントに基づいていますが、ROCはすべてのカットポイントを試行し、感度と特異性をプロットします。したがって、全体の精度を比較するとき、カットポイントに基づいて精度を比較しています。全体の精度は、異なるカットポイントによって異なります。

2つの統計測定値は相関している可能性がありますが、分類器の異なる品質を測定します。

オーロク

曲線下面積（AUC）は、ランダムに選択された負の例よりもランダムに選択された正のインスタンスを分類子がランク付けする確率に等しくなります。実際にパターンをクラスに割り当てることなく、ポジティブクラスに属する度合いに応じて一連のパターンをランク付けする分類器のスキルを測定します。

全体的な精度は、分類器がパターンをランク付けする能力にも依存しますが、しきい値を上回る場合はパターンをポジティブクラスに、以下であればネガティブクラスにパターンを割り当てるために使用されるランキングのしきい値を選択する能力にも依存します。

したがって、パターン（AUROCが測定する）のランク付けはAUROCと全体の精度の両方にとって有益であるため、より高いAUROC統計（すべての条件が等しい）の分類器も全体の精度が高くなる可能性があります。ただし、1つの分類子がパターンを適切にランク付けしても、しきい値を誤って選択すると、AUROCは高くなりますが、全体の精度は低下します。

実用

実際には、全体的な精度、AUROC、および分類子がクラスメンバーシップの確率、クロスエントロピーまたは予測情報を推定する場合に収集するのが好きです。次に、ハード分類を実行する生の能力を測定するメトリックがあります（誤検出と誤検出の誤分類コストが等しく、サンプルのクラス頻度が運用時のクラス頻度と同じであると仮定-大きな仮定！）、パターンをランク付けする機能を測定するメトリックと、ランク付けが確率としてどの程度調整されているかを測定するメトリック。

多くのタスクでは、運用の誤分類コストは不明または変動するか、運用クラスの頻度がトレーニングサンプルの頻度と異なるか、変動します。その場合、全体の精度はかなり無意味であることが多く、AUROCはパフォーマンスのより良い指標であり、理想的には、運用中のこれらの問題を補正できるように、十分に較正された確率を出力する分類器が必要です。本質的にどのメトリックが重要かは、解決しようとしている問題によって異なります。

AUCは本当に非常に便利なメトリックですか？

予想コストがより適切な尺度であると思います。

次に、すべての偽陽性についてはコストAが、すべての偽陰性についてはコストBがあります。他のクラスは他のクラスよりも相対的に高価である可能性があります。もちろん、さまざまなサブグループで誤分類のコストがある場合は、さらに強力なメトリックになります。

X軸にカットオフ、Y軸に予想コストをプロットすることで、どのカットオフポイントが予想コストを最小化するかを確認できます。

正式には、最小化しようとする損失関数Loss（cut-off | data、cost）があります。

すべての答えのように掲載されていますROCし、accuracy基本的な二つの異なる概念です。

一般的に、ROCクラス分布および不均等な予測エラーコスト（偽陽性および偽陰性コスト）に依存しない分類器の識別力について説明します。

のようなメトリックaccuracyは、test datasetまたはのクラス分布に基づいて計算cross-validationされますが、実際のデータに分類子を適用すると、基になるクラス分布が変更されたか不明であるため、この比率が変わる場合があります。一方、TP rateおよびFP rateその構築するために使用されるAUCクラスの分布シフトによって影響されないであろう。