マルチクラス分類器の品質を判断する方法

与えられた

• インスタンスを持つデータセットはと一緒にすべてのインスタンスクラス 1つのクラスに正確に属し$x_i$$N$$x_i$$y_i$
• マルチクラス分類器

トレーニングとテストの後、基本的に、テストセット内のすべてのインスタンスについて、真のクラスと予測クラスを含むテーブルを作成しました。したがって、すべてのインスタンスについて、一致（）またはミス（）があります。$y_i$$a_i$$x_i$$y_i= a_i$$y_i\neq a_i$

試合の質をどのように評価できますか？問題は、いくつかのクラスが多くのメンバーを持つことができる、つまり多くのインスタンスがそれに属するということです。すべてのデータポイントの50％が1つのクラスに属し、最終的な分類子が全体で50％正しい場合、明らかに何も得られません。入力が何であれ、その最大クラスを出力する単純な分類器を作成することもできました。

各クラスの既知のテストセットの一致とヒットの結果に基づいて分類子の品質を推定する標準的な方法はありますか？特定のクラスごとに一致率を区別することも重要かもしれません。

私が考えることができる最も単純なアプローチは、最大クラスの正しい一致を除外することです。ほかに何か？

バイナリ分類と同様に、経験的エラー率を使用して分類器の品質を推定できます。ましょう分類器、およびこととそれぞれ自分のデータベースとそのクラスの例であること。 あなたが言ったように、クラスがアンバランスな場合、ベースラインは50％が、より大きなクラスの割合。各クラスに重みを追加して、エラーのバランスを取ることができます。してみましょうクラスの重量と。その結果、重み設定と定義加重経験的エラーx i y i e r r （g ）= $g$$x_i$$y_i$W、Y、Y

$$err(g) = \frac{1}{n} \sum_{i \leq n} \mathbb{1}_{g(x_i) \neq y_i}$$ $W_y$$y$ERRW（G）=$\frac{1}{W_y} \sim \frac{1}{n}\sum_{i \leq n} \mathbb{1}_{y_i = y}$ $$err_W(g) = \frac{1}{n} \sum_{i \leq n} W_{y_i} \mathbb{1}_{g(x_i) \neq y_i}$$

Steffenが言ったように、混同行列は分類器の品質を推定する良い方法です。バイナリの場合、感度や特異性など、このマトリックスから何らかの指標を導き出し、特定のクラスを検出する分類器の機能を推定できます。分類器のエラーの原因は特定の方法である可能性があります。たとえば、分類子は1を予測するときは自信が強すぎますが、0を予測するときは決して間違って言うことはできません。多くの分類子はこのレートを制御するためにパラメーター化できます（誤検知対誤検知）。 1つだけではなく、分類子のファミリー全体。これからROC曲線をプロットし、ROC曲線の下の領域を測定することで、これらの分類器の品質を確認できます。

ROC曲線は、マルチクラスの問題に合わせて拡張できます。このスレッドの答えを読むことをお勧めします。

多方向テキスト分類システムを評価するために、マイクロ平均およびマクロ平均F1（Fメジャー）を使用します。Fメジャーは、本質的に精度とそれを思い出すことの重み付けされた組み合わせです。バイナリ分類の場合、ミクロとマクロのアプローチは同じですが、マルチウェイの場合は、それらが役立つと思います。Micro F1は、すべてのドキュメントに等しい重みを与え、マクロF1はすべてのクラスに等しい重みを与える、精度とリコールの重み付き組み合わせと考えることができます。それぞれについて、Fメジャーの式は同じですが、精度を計算して呼び出し方が異なります。

$$F = \frac{(\beta^{2} + 1)PR}{\beta^{2}P+R},$$

通常、は1に設定されます。その後、$\beta$

$$P_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FP_{i}}, R_{micro}=\frac{\sum^{|C|}_{i=1}TP_{i}}{\sum^{|C|}_{i=1}TP_{i}+FN_{i}}$$

$$P_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FP_{i}}, R_{macro}=\frac{1}{|C|}\sum^{|C|}_{i=1}\frac{TP_{i}}{TP_{i}+FN_{i}}$$

ここで、は真陽性、は偽陽性、は偽陰性、はクラスです。$TP$$FP$$FN$$C$

# Function in R, using precision, recall and F statistics

check.model.accuracy <- function(predicted.class, actual.class){

  result.tbl <- as.data.frame(table(predicted.class,actual.class ) ) 

  result.tbl$Var1 <- as.character(result.tbl$predicted.class)
  result.tbl$Var2 <- as.character(result.tbl$actual.class)

  colnames(result.tbl)[1:2] <- c("Pred","Act")

  cntr <- 0  
  for (pred.class in unique(result.tbl$Pred) ){
    cntr <- cntr+ 1
    tp <- sum(result.tbl[result.tbl$Pred==pred.class & result.tbl$Act==pred.class, "Freq"])
    tp.fp <- sum(result.tbl[result.tbl$Pred == pred.class , "Freq" ])
    tp.fn <- sum(result.tbl[result.tbl$Act == pred.class , "Freq" ])
    presi <- tp/tp.fp 
    rec <- tp/tp.fn
    F.score <- 2*presi*rec/(presi+rec)
    if (cntr == 1 ) F.score.row <- cbind(pred.class, presi,rec,F.score)
    if (cntr > 1 ) F.score.row <- rbind(F.score.row,cbind(pred.class,presi,rec,F.score))
  }

  F.score.row <- as.data.frame(F.score.row) 
  return(F.score.row)
}

check.model.accuracy(predicted.df,actual.df) 
# For multiclass, average across all classes