最小リスク分類子の計算しきい値？

2つのクラスとに属性あり、分布がととします。次のコストマトリックスの前のが等しい場合： $C_1$ $C_2$ $x$ $\cal{N} (0, 0.5)$ $\cal{N} (1, 0.5)$ $P(C_1)=P(C_2)=0.5$

$L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix}$

なぜ、は最小リスク（コスト）分類器のしきい値ですか？ $x_0 < 0.5$

これは私が誤解している私のメモの例です（つまり、このしきい値にどのように到達したのですか？）

編集1：尤度比のしきい値には、P（C1）/ P（C2）を使用できると思います。

編集2：しきい値に関するいくつかのテキストをパターンのDuda Bookから追加します。ここに画像の説明を入力してください

— user153695
ソース

コストマトリックスの場合

L = [\begin{matrix} 0 & 0.5 \\ 1 & 0 \end{matrix}] \begin{matrix} c_{1} \\ c_{2} \end{matrix} prediction \begin{matrix} c_{1} & c_{2} \end{matrix} truth

$L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix} \begin{matrix} c_1 \\ c_2 \end{matrix} \;\text{prediction} \\ \hspace{-1.9cm} \begin{matrix} c_1 & c_2 \end{matrix} \\ \hspace{-1.9cm}\text{truth}$

真理がクラス場合のクラスの予測の損失はであり、真理がクラス場合のクラスの予測のコストはです。正しい予測には費用がかかりませんです。いずれかのクラスを予測するための条件付きリスクは、 $c_1$ $c_2$ $L_{12} = 0.5$ $c_2$ $c_1$ $L_{21} = 1$ $L_{11} = L_{22} = 0$ $R$ $k$

\begin{aligned} R (c_{1} | x) & = L_{11} Pr (c_{1} | x) + L_{12} Pr (c_{2} | x) = L_{12} Pr (c_{2} | x) \\ R (c_{2} | x) & = L_{22} Pr (c_{2} | x) + L_{21} Pr (c_{1} | x) = L_{21} Pr (c_{1} | x) \end{aligned}

$\begin{align} R(c_1|x) &= L_{11} \Pr (c_1|x) + L_{12} \Pr (c_2|x) = L_{12} \Pr (c_2|x) \\ R(c_2|x) &= L_{22} \Pr (c_2|x) + L_{21} \Pr (c_1|x) = L_{21} \Pr (c_1|x) \end{align}$ 場合参照は、これらの参照ノートを 15ページ。

リスク/損失を最小化するために、そうすることの間違いによるコスト（つまり、誤った予測の損失に予測が誤っている事後確率）が場合、を予測します。選択肢を誤って予測するコストよりも小さく、 $c_1$ $L_{12} \Pr (c_2|x)$

\begin{aligned} L_{12} Pr (c_{2} | x) & < L_{21} Pr (c_{1} | x) \\ L_{12} Pr (x | c_{2}) Pr (c_{2}) & < L_{21} Pr (x | c_{1}) Pr (c_{1}) \\ \frac{L_{12} Pr (c_{2})}{L_{21} Pr (c_{1})} & < \frac{Pr (x | c_{1})}{Pr (x | c_{2})} \end{aligned}

$\begin{align} L_{12} \Pr (c_2|x) &< L_{21} \Pr (c_1|x) \\ L_{12} \Pr (x|c_2) \Pr (c_2) &< L_{21} \Pr (x|c_1) \Pr (c_1) \\ \frac{L_{12} \Pr (c_2)}{L_{21} \Pr (c_1)} &< \frac{\Pr (x|c_1)}{ \Pr (x|c_2)} \end{align}$ ここで、2行目はベイズの規則ます。事前確率が等しい場合、すると、

Pr (c_{2} | x) \propto Pr (x | c_{2}) Pr (c_{2})

$\Pr (c_2|x) \propto \Pr (x|c_2) \Pr (c_2)$

Pr (c_{1}) = Pr (c_{2}) = 0.5

$\Pr (c_1) = \Pr (c_2) = 0.5$

\frac{1}{2} < \frac{Pr (x | c_{1})}{Pr (x | c_{2})}

$\frac{1}{2} < \frac{\Pr (x|c_1)}{ \Pr (x|c_2)}$

したがって、は尤度比がこのしきい値を超えるため、観測を分類することを選択します。現在、尤度比の観点から、または属性観点から「最良のしきい値」を知りたいのかどうかは、はっきりしません。コスト関数によって答えが変わります。および、との不等式でガウスを使用し、 $c_1$ $x$ $\sigma_1 = \sigma_2 = \sigma$ $\mu_1 = 0$ $\mu_2 = 1$

\begin{aligned} \frac{1}{2} & < \frac{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{1})^{2}]}{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{2})^{2}]} \\ \log (\frac{1}{2}) & < \log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 0)^{2} - [\log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 1)^{2}] \\ \log (\frac{1}{2}) & < - \frac{x^{2}}{2 σ^{2}} + \frac{x^{2}}{2 σ^{2}} - \frac{2 x}{2 σ^{2}} + \frac{1}{2 σ^{2}} \\ \frac{x}{σ^{2}} & < \frac{1}{2 σ^{2}} - \log (\frac{1}{2}) \\ x & < \frac{1}{2} - \log (\frac{1}{2}) σ^{2} \end{aligned}

$\begin{align} \frac{1}{2} &< \frac{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_1)^2 \right]}{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_2)^2 \right]} \\ \log \left(\frac{1}{2}\right) &< \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-0)^2 - \left[ \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-1)^2 \right] \\ \log \left(\frac{1}{2}\right) &< -\frac{x^2}{2\sigma^2} + \frac{x^2}{2\sigma^2} - \frac{2x}{2\sigma^2} + \frac{1}{2\sigma^2} \\ \frac{x}{\sigma^2} &< \frac{1}{2\sigma^2} - \log \left(\frac{1}{2}\right) \\ x &< \frac{1}{2} - \log \left(\frac{1}{2}\right) \sigma^2 \end{align}$ したがって、に関する予測しきい値

x

$x$ 検索すると、誤った予測による損失が同じ場合、つまり場合にのみ達成できます。それは、その場合にのみで、ます。

L_{12} = L_{21}

$L_{12} = L_{21}$

\log (\frac{L_{12}}{L_{21}}) = \log (1) = 0

$\log \left( \frac{L_{12}}{L_{21}} \right) = \log (1) = 0$

x_{0} < \frac{1}{2}

$x_0 < \frac{1}{2}$

— アンディ
ソース

正解ですが、混乱しました。またはを選択する場合、どちらが正しいですか？

x_{0} = 0.5

$x_0=0.5$

x_{0} < 0.5

$x_0<0.5$

— user153695 2015

したがって、決定境界では、がクラス1と2のどちらにあるべきかを正確に判断できません（境界上にあるため）。したがって、またはがあなた次第である場合、観測値をクラス1にするかどうかを選択します。十分に大きいサンプルでは、これは非常に少数の観測で発生するはずなので、マージンでは、結果のごみが問題になります。

x_{0} = 0.5

$x_0=0.5$

i

$i$

x_{0} \leq 0.5

$x_0 \leq 0.5$

x_{0} < 0.5

$x_0 < 0.5$

— アンディ

教授に報奨金を与えた私の問題のすべて。計算されたであり、を受け入れない問題の編集を参照してください。薄いしきい値は必要があります。

x_{0} < 0.5

$x_0<0.5$

x_{0} = 0.5

$x_0=0.5$

x_{0} < 0.5

$x_0<0.5$

— user153695 2015

たぶん0.5-ln :)

— user153695

@whuberありがとう、私はそれを完全に逃したので、私は完全に間違った終わりから始めました。

— アンディ