マルチクラス分類でROC曲線をプロットする方法は？

つまり、2クラスの問題を抱える代わりに、4クラスを扱っていますが、AUCを使用してパフォーマンスを評価したいと考えています。

マルチクラスROC分析を探しているようです。これは、ICML'04のチュートリアルで説明されている多目的最適化の一種です。いくつかのマルチクラス問題と同様に、一般的には、ペアワイズ比較を実行することです（1つのクラスと他のすべてのクラス、1つのクラスと別のクラス、（1）または統計学習の要素を参照）。 LandgrebeとDuinによるそのトピックに関するペーパー、ペアワイズ分析によるマルチクラスROCの近似、Pattern Recognition Letters 2007 28：1747-1758。さて、視覚化の目的で、先ほどいくつかの論文を見てきましたが、そのほとんどはROCサーフェス（VUS）またはCobwebダイアグラムの下でボリュームを回しています。

ただし、これらのメソッドのR実装が存在するかどうかはわかりませんが、stars()関数はクモの巣のプロットに使用される可能性があると思います。マルチクラスROC分析を提供していると思われるMatlabツールボックス、PRSD Studioに出会いました。

視覚化/計算の最初の出発点としても役立つその他の論文：

• マルチクラスROC表面の可視化
• ROCの下のエリアのマルチクラスドメインへの簡略化された拡張

参照：
1. Allwein、EL、Schapire、REおよびSinger、Y。（2000）。マルチクラスからバイナリへの削減：マージン分類子の統一アプローチ。Journal of Machine Learning Research、1：113–141。

最近、RでこのpROC パッケージを見つけました。このパッケージは、Hand and Till（2001）で指定された手法を使用してマルチクラスROCをプロットします。multiclass.roc関数を使用できます。

ここでの回答はかなり完成していますが、それでも5セントを追加したいと思います。この質問では、One-Vs-AllアプローチとROCR Rライブラリを使用してROC曲線を作成するためのRコードの例を見つけることができます。

これはその答えからのプロットです：

数学は私を超えていますが、この一般的なレビュー記事には、おそらく興味のある参考文献がいくつかあり、マルチクラスROCグラフの簡単な説明があります。

Tom Fawcett Pattern Recognition Letters Volume 27、Issue 8、June 2006、Pages 861-874によるROC分析の紹介

gd047が提供するPDFへのリンク- ありがとう