AUCの確率論的解釈を導き出す方法は？

14

ROC曲線の下の領域が、分類子がランダムに選択された「ポジティブ」インスタンスを（取得された予測から）ランダムに選択された「ポジティブ」インスタンス（元のポジティブクラスから）よりもランク付けする確率が高いのはなぜですか？このステートメントを積分を使用して数学的に証明し、真の正と負のクラス分布のCDFとPDFをどのように証明しますか？

probability roc auc

— mff
ソース

2

私はここで、この非常に基本的証明を書いた：madrury.github.io/jekyll/update/statistics/2017/06/21/...

— マシュードゥルーリー

10

まず、ROC曲線の下の領域を正式に定義してみましょう。いくつかの仮定と定義：

「スコア」s（x）を出力する確率的分類器があります。ここで、xは特徴であり、sは推定確率p（class = 1 | x）の一般的な増加する単調関数です。
$f_{k}(s)$ 、：=クラスkのスコアのpdf、CDF $k = \{0, 1\}$ $F_{k}(s)$
新しい観測の分類は、スコアsをしきい値tと比較して取得されます。

さらに、数学的便宜のために、ポジティブクラス（イベントが検出された）k = 0、ネガティブk = 1を考えてみましょう。この設定では、次のように定義できます。

Recall（別名Sensitivity、aka TPR）：（陽性として分類された陽性症例の割合） $F_{0}(t)$
特異度（別名TNR）：（陰性と分類された陰性症例の割合） $1 - F_{1}(t)$
FPR（フォールアウトとも呼ばれます）：1- TNR = $F_{1}(t)$

ROC曲線は、に対するプロットです。設定すると、ROC曲線の下の面積を次のように正式に定義できます変数の変更（）： $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

この式は、ランダムに描画されたクラス0のメンバーが、ランダムに描画されたクラス1のメンバーのスコアよりも低いスコアを生成する確率であると容易に見なすことができます。

この証明は、https：//pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdfから取得されます。

— アレブ
ソース

5

@alebuの答えは素晴らしいです。しかし、その表記法は非標準であり、陽性クラスには0を使用し、陰性クラスには1を使用します。以下は標準表記の結果です（陰性クラスは0、陽性クラスは1）。

ネガティブクラスのスコアのおよび：および $f_0(s)$ $F_0(s)$

陽性クラスのスコアのPDFおよびCDF：および $f_1(s)$ $F_1(s)$

FPR = $x(s) = 1-F_0(s)$

TPR = $y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

ここで、はしきい値を表します。@alebuの回答の解釈を最後の式に適用できます。 $\tau$

— 黄黄
ソース

1

AUC-ROCを計算する方法は、TPRとFPRをしきい値としてプロットし、を変更して、その曲線の下の面積を計算することです。しかし、なぜ曲線の下のこの領域がこの確率と同じになるのですか？以下を想定しましょう： $\tau$

$A$ は、実際に陽性のクラスにあるデータポイントに対してモデルが生成するスコアの分布です。
$B$ は、モデルが実際に負のクラスにあるデータポイントに対して生成するスコアの分布です（これをの左側に配置します）。 $A$
$\tau$ はカットオフしきい値です。データポイントのスコアがこれよりも大きい場合は、陽性クラスに属すると予測されます。それ以外の場合は、ネガティブクラスになると予測されます。

TPR（リコール）はで与えられ、FPR（フォールアウト）は与えられることに注意してください。 $P(A>\tau)$ $P(B>\tau)$

ここで、y軸にTPRを、x軸にFPRをプロットし、さまざまな曲線を描き、この曲線の下の面積（）を計算します。 $\tau$ $AUC$

我々が得る：

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$ ここで、はFPRです。ここで、この積分を計算する1つの方法は、を一様分布に属すると見なすことです。その場合、それは単に期待になります。

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$ を考慮する場合。

x \sim U [0, 1)

$x \sim U[0,1)$

ここで、はだけでした $x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$ は一様分布からのものであると考えたので、

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

しかし、逆変換の法則から、ランダム変数場合、場合はことがわかります。これは、任意のランダム変数を取得し、それに独自のCDFを適用すると、ユニフォームにつながるためです。 $X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$ あり、これはユニフォームに対してのみ適用されます。

この事実を方程式（2）で使用すると、次のようになります。

τ (x) \sim B

$\tau(x) \sim B$

これを方程式（1）に代入すると、次のようになります。

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

つまり、曲線の下の領域は、ランダムなポジティブサンプルがランダムなネガティブサンプルよりも高いスコアを持つ確率です。

— リュウ576
ソース