線形判別分析

James、Witten、Hastie、Tibshiraniによる「統計学習入門」を勉強しています。

彼らの本の139ページで、彼らはベイズの定理紹介することから始めました。は数学定数ではありませんが、事前確率を示します。この方程式には何も奇妙なことはありません。$p_k(X)=P(Y=k|X=x) = \dfrac{\pi_kf_k(x)}{\sum_{l=1}^k \pi_l f_l(x)}$$\pi$

この本は、上記の方程式に組み込むことができる推定値を取得したいと主張しています。を推定するために、それが正常であると想定しています。1次元設定では、、ここでとは番目のクラスの平均と分散です。これは、想定された。（私は最後のステートメントから混乱し始めました。）$f_k(x)$$f_k(x)$$f_k(x)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{1}{2\sigma^2}(x-\mu_k)^2)$$\mu_k$$\sigma^2_k$$k$$\sigma^2_1 = \sigma^2_2 = \cdots = \sigma^2_K$

をにプラグ、これはかなり厄介な方程式（1）になります。$f_k$$p_x$

$$p_x(k)=\dfrac{\pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_k)^2)}{\sum_{l=1}^K \pi_l \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_l)^2)}.$$

繰り返しになりますが、これは単なる置換であるため、ここでの驚きはありません。

---

ベイズ分類器は、方程式（1）が最大であるクラスに観測値を割り当てることを含みます。式（1）の対数を取り、項を並べ替えると、これが次の値が最大であるクラスに観測値を割り当てることと同等であることを示すことは難しくありません。

$$\delta_k(x)=x \cdot \dfrac{\mu_k}{\sigma^2} - \dfrac{\mu_k^2}{2\sigma^2} + \log(\pi_k)$$

質問：これがどこから来たのか、そしてそれが何を意味するのかわかりません。方程式の対数を作ってみましたが、これにはなりません。これは最大の観測であるため、ここのどこかで導関数を使用していますか？

式（1）は比例定数まで表すことができます。

$$p_x(k)\propto \pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp \left(-\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2 \right)$$

だからログを取るなら

$$\log p_x(k) \propto \log \pi_k - \log (\sqrt{2\pi} \sigma) -\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2$$

ここでは依存しないため、再び比例定数になります。次に、2乗項を展開すると、そこに移動します（括弧を展開すると、消える別の項が表示されることに注意してください）。$- \log (\sqrt{2\pi} \sigma)$$k$$\propto$