私は最近、確率的分類器の適切なスコアリングルールについて学んでいます。このWebサイトのいくつかのスレッドは、精度が不適切なスコアリングルールであり、ロジスティック回帰などの確率モデルによって生成された予測の品質を評価するために使用すべきではないことを強調しています。

ただし、私が読んだかなりの数の学術論文では、バイナリ分類設定における（厳密ではない）適切なスコアリングルールの例として、誤分類の損失を挙げています。私が見つけた最も明確な説明は、7ページの下部にあるこのペーパーにありました。私の理解では、誤分類損失を最小化することは、精度を最大化することに相当します。

たとえば、論文の表記を使用して、対象クラスの真の条件付き確率（ある特徴ベクトルxが与えられた）がη= 0.7の場合、予測q > 0.5の場合、予想損失R（η| q）= 0.7（0）+ 0.3（1）= 0.3、およびq≤0.5の $\leq$、予想損失は0.7です。したがって、損失関数はq =η= 0.7 で最小化され、結果として適切になります。真の条件付き確率と予測の全範囲への一般化は、そこから十分簡単に​​思えます。

上記の計算とステートメントが正しいと仮定すると、一意でない最小値と、同じ最小予測損失を共有する0.5を超えるすべての予測の欠点は明らかです。ログスコア、ブライアースコアなどの従来の代替案に対して精度を使用する理由はまだありません。しかし、バイナリ設定で確率モデルを評価する場合、精度が適切なスコアリングルールであると言うのは正しいですか。間違い-誤分類の損失を理解するのか、それとも正確に分類するのか。

TL; DR

精度は不適切なスコアリングルールです。使用しないでください。

少し長いバージョン

実際、精度はスコアリングルールではありません。したがって、それが（厳密に）適切かどうかを尋ねることは、カテゴリエラーです。私たちが言えることは、追加の仮定の下では、精度は不適切で、不連続で、誤解を招くスコアリングルールと一致しているということです。（使用しないでください。）

あなたの混乱

あなたの混乱は、あなたが引用した論文による誤分類の損失も採点規則ではないという事実から生じています。

詳細：スコアリングルールと分類評価

用語を修正しましょう。我々は、バイナリ転帰に興味を持っている、我々は確率的予測有するQ = P（Y = 1 ）∈ （0 、1 ）。我々は知っているP （Y = 1 ）= η > 0.5が、私たちのモデル$y\in\{0,1\}$$\widehat{q} = \widehat{P}(Y=1)\in(0,1)$$P(Y=1)=\eta>0.5$$\widehat{q}$またはそれを知らない場合があります。

スコアリングルールは、確率的予測かかるマッピングであり、Q及び転帰Yを$\widehat{q}$$y$、損失

$$s\colon (\widehat{q},y) \mapsto s(\widehat{q},y).$$

あり、適切それはによって期待に最適化されている場合、Q = η。（通常は「最小化」を意味しますが、いくつかの著者は、フリップ徴候やスコアリング・ルールを最大化しようとする「最適化」。） sがある厳密に正しいことを期待して最適化されている場合のみで、Q = $s$$\widehat{q}=\eta$$s$$\widehat{q}=\eta$。

私たちは、一般的に評価する多くの予言の上のq Iと結果を対応するY I、平均はこの期待を推定します。$s$$\widehat{q}_i$$y_i$

さて、精度とは何ですか？精度は、確率的予測を引数として取りません。これは、分類かかりY ∈ { 0 、1 }$\widehat{y}\in\{0,1\}$と結果を：

$$a\colon (\widehat{y},y)\mapsto a(\widehat{y},y) = \begin{cases} 1, & \widehat{y}=y \\ 0, & \widehat{y} \neq y. \end{cases}$$

したがって、 精度はスコアリングルールではありません。分類評価です。（これは私が発明したばかりの用語です。文献で探してはいけません。）

$\widehat{q}$$\widehat{y}$$\theta$

$$\widehat{y}(\widehat{q},\theta) := \begin{cases} 1, & \widehat{q}\geq \theta \\ 0, & \widehat{q}<\theta. \end{cases}$$

$\theta=0.5$$\widehat{q}_i$$y_i$、次に我々はあたりブジャらとして誤分類損失に正確に到達します。したがって、誤分類損失もスコアリングルールではなく、分類評価です。

$\widehat{q}$$\widehat{q}$$\widehat{y}=\widehat{y}(\widehat{q},\theta)$$\widehat{q}$

$\widehat{q}=\eta$$\theta =0.5$$\widehat{q}\in(0,1)$

$\widehat{y}$$\widehat{q}$。

$\widehat{q}\geq\theta$$\theta=0.5$$\widehat{q}=0.99$$\widehat{q}\geq\theta$$\widehat{q}$$\eta$

$\theta =0.2$$y=1$$y=0$$\widehat{q}$$\widehat{q}=0.25$$\widehat{q}\geq\theta$

したがって、正確性または誤分類の損失は誤解を招く可能性があります。

さらに、結果がiidではないより複雑な状況では、追加の仮定の下では精度と誤分類の損失は不適切です。Frank Harrellのブログ投稿で、分類精度およびその他の不連続な不適切な精度スコアリングルールによって引き起こされる損傷は、精度または誤分類損失を使用するとモデルが誤って指定されてしまうため、彼の本の1つの例を引用しています、正しい条件付き予測によって最適化されてしています確率。

$\theta$

詳細については、分類モデルを評価するために精度が最良の尺度ではない理由を参照してください。。

一番下の行

精度を使用しないでください。誤分類の損失もありません。

短編：「厳格」対「厳格」

「厳密な」適切なスコアリングルールについて、または「厳密に」適切なスコアリングルールについて話す必要がありますか。「厳密」は「スコアリング規則」ではなく「適切」を変更します。（「適切なスコアリングルール」と「厳密に適切なスコアリングルール」がありますが、「厳密なスコアリングルール」はありません。）「strictly」は形容詞ではなく副詞であり、「strictly」を使用する必要があります。文学でより一般的であるように、例えば、ティルマン・グナイティングによる論文。