Naive Bayesでlog-sum-expトリックがどのように機能するかの例

log-sum-expトリックについて多くの場所（例：ここ、ここ）で読みましたが、それがNaive Bayes分類器（例：離散機能と2つのクラス）に具体的に適用される例を見たことがありません。

このトリックを使用して数値のアンダーフローの問題をどの程度正確に回避できますか？

naive-bayes underflow

— ジョシュ
ソース

ここではいくつかの使用例がありますが、ナイーブベイズでは必ずしも明示的には使用されていません。ただし、トリックのアイデアは非常に単純で、すぐに適用できるため、問題はほとんどありません。

— Glen_b-モニカを復活させる14

問題はオーバーフローよりもアンダーフローである可能性が高いです。

— ヘンリー

アンダーフローで検索してから、質問を更新して、まだカバーされていないものを具体的に取り上げることをお勧めします。

— Glen_b-モニカを復活させる'07 / 07/03

明確にしてもらえますか-これはベルヌーイモデルの素朴なベイズですか？おそらく何か他に？

— Glen_b-モニカを復活させる14

ここの例をご覧ください。右下（ 'See Also'の直前でログを取得します。両側を累乗しますが、RHSを（ログの合計のexpとして）そのままにしておきます）がログの例です。 -sum-expトリック。これにより、Naive Bayesでの使用に関連して、より具体的な質問をするのに十分な情報が得られますか？

— Glen_b -Reinstate Monica

回答:

p （ Y = C | バツ ） = \frac{p （ バツ | Y = C ） p （ Y = C ）}{Σ_{k = 1}^{| C |} p （ バツ | Y = C_{k} ） p （ Y = C_{k} ）}

$p(Y=C|\mathbf{x}) = \frac{p(\mathbf{x}|Y=C)p(Y=C)}{~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k)}$

分母と分子の両方が非常に小さくなる可能性があります。これは、通常、が0に近くなる可能性があり、それらの多くを互いに乗算するためです。アンダーフローを防ぐために、分子のログを取得することができますが、分母にはlog-sum-expトリックを使用する必要があります。 $p(x_i \vert C_k)$

より具体的には、アンダーフローを防ぐために：

私たちはどのクラスを知ることを気にしている場合入力が、最も可能性の高い最大事後（MAP）決定ルールとに属し、我々は対数を適用する必要はありませんsum-expトリック。その場合、分母を計算する必要がないため。分子の場合、ログを取得してアンダーフローを防ぐことができます： $(\hat{y})$ $(\mathbf{x}=x_1, \dots, x_n)$ $log \left( p(\mathbf{x}|Y=C)p(Y=C) \right)$ 。すなわち：

$\hat{y} = \underset{k \in {1 、 \dots 、 | C |}}{argmax} p （ C_{k} | {バツ}_{1} 、 \dots 、 {バツ}_{ん} ） = \underset{k \in {1 、 \dots 、 | C |}}{argmax} p （ C_{k} ） Π_{私 = 1}^{ん} p （ {バツ}_{私} | C_{k} ）$ $\hat{y} = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}}p(C_k \vert x_1, \dots, x_n) = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k)$
これはログを取った後になります：

\begin{aligned} \hat{y} & = \underset{k \in {1 、 \dots 、 | C |}}{argmax} ログ （ p （ C_{k} | {バツ}_{1} 、 \dots 、 {バツ}_{ん} ） ） \\ = \underset{k \in {1 、 \dots 、 | C |}}{argmax} ログ （ p （ C_{k} ） Π_{私 = 1}^{ん} p （ {バツ}_{私} | C_{k} ） ） \\ = \underset{k \in {1 、 \dots 、 | C |}}{argmax} （ ログ （ p （ C_{k} ） ） + Σ_{私 = 1}^{ん} ログ （ p （ {バツ}_{私} | C_{k} ） ） ） \end{aligned}

$\begin{align} \hat{y} &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( p(C_k \vert x_1, \dots, x_n) \right)\\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k) \right) \\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \left( \log \left( p(C_k) \right) + \ \displaystyle\sum_{i=1}^n \log \left(p(x_i \vert C_k) \right) \right) \end{align}$

クラス確率を計算する場合、分母を計算する必要があります。 $p(Y=C|\mathbf{x})$

$\begin{aligned} \log (p (Y = C | x)) & = \log (\frac{p (x | Y = C) p (Y = C)}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}) \\ = \log (\underset{numerator}{\underset{⏟}{p (x | Y = C) p (Y = C)}}) - \log (\underset{denominator}{\underset{⏟}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}}) \end{aligned}$

要素 $\log \left( ~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)\\$ は非常に小さくなる可能性があるためアンダーフローする可能性があります。これは分子と同じ問題ですが、今回は対数内に合計があり、変換できません）（に）0に近いことができる（以降、もはや負なく0に近い $p(x_i \vert C_k)$ $p(x_i \vert C_k)$ $\log \left(p(x_i \vert C_k) \right)$ $0 \leq p(x_i \vert C_k) \leq 1$ ）。この問題を回避するために、という事実を使用して、以下を取得できます。 $p(x_i \vert C_k) = \exp \left( {\log \left(p(x_i \vert C_k) \right)} \right)$

$\log (\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})) = \log (\sum_{k = 1}^{| C |} \exp (\log (p (x | Y = C_{k}) p (Y = C_{k}))))$

その時点で、新しい問題が発生し：は非常に負の値になる可能性があります。これは、は、0に非常に近くなる可能性があります（アンダーフロー）。これがlog-sum-expトリックを使用する場所です： $\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$ $\exp \left( \log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right) \right)$

$\log \sum_{k} e^{a_{k}} = \log \sum_{k} e^{a_{k}} e^{A - A} = A + \log \sum_{k} e^{a_{k} - A}$

と：
- 、 $a_k=\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$
- $A = \underset{k \in \{1, \dots, |C|\}} \max a_k.$
変数を導入ことでアンダーフローを回避できることがわかります。たとえば、場合、次のようになります。 $A$ $k=2, a_1 = - 245, a_2 = - 255$
- $\exp \left(a_1\right) = \exp \left(- 245\right) =3.96143\times 10^{- 107}$
- $\exp \left(a_2\right) = \exp \left(- 255\right) =1.798486 \times 10^{-111}$
log-sum-expトリックを使用して、アンダーフローを回避し： $A=\max ( -245, -255 )=-245$ $\begin{align}\log \sum_k e^{a_k} &= \log \sum_k e^{a_k}e^{A-A} \\&= A+ \log\sum_k e^{a_k -A}\\ &= -245+ \log\sum_k e^{a_k +245}\\&= -245+ \log \left(e^{-245 +245}+e^{-255 +245}\right) \\&=-245+ \log \left(e^{0}+e^{-10}\right) \end{align}$

はまたはよりも0からはるかに離れているため、アンダーフローを回避しました。 $e^{-10}$ $3.96143\times 10^{- 107}$ $1.798486 \times 10^{-111}$

— フランク・ダーノンコート
ソース

2つのデータベースのどちらがフレーズを生成した可能性が高いかを特定したいとします（たとえば、このフレーズはどの小説から来た可能性が高いですか）。データベースを条件として、単語の独立性を仮定することができます（単純ベイズ仮定）。

次に、投稿した2番目のリンクを調べます。そこデータベース所与の文を観察する同時確率を表すであろうと Sは文章中の単語の各々を観測する確率を表すことになります。 $a$ $e^{b_{t}}$

— シド
ソース

この回答から、Pythonの最小数（たとえば、それを取り上げる）はIEEE7545e-324によるものであり、ハードウェアの原因は他の言語にも当てはまることがわかります。

In [2]: np.nextafter(0, 1)
Out[2]: 5e-324

そして、それよりも小さいフロートは0になります。

In [3]: np.nextafter(0, 1)/2
Out[3]: 0.0

そして、with discrete features and two classes必要に応じてNaive Bayesの機能を見てみましょう。

p （ S = 1 | w_{1} 、 。 。 。 w_{ん} ） = \frac{p （ S = 1 ） Π_{私 = 1}^{ん} p （ w_{私} | S = 1 ）}{\underset{s = {0 、 1}}{Σ} p （ S = s ） Π_{私 = 1}^{ん} p （ w_{私} | S = s ）}

$p(S=1|w_1, ... w_n) = \frac{p(S=1) \prod_{i=1}^n p(\mathbf{w_i}|S=1)}{~\sum_{s=\{0, 1\}}p(S=s)\prod_{i=1}^n p(\mathbf{w_i}|S=s)}$

以下の簡単なNLPタスクでその機能をインスタンス化しましょう。

$S=1$ $S=0$ $n=5,000$ $w_i$ $p(w_i|S=1)$ $1-p(w_i|S=1)$

In [1]: import numpy as np
In [2]: from sklearn.naive_bayes import BernoulliNB
# let's train our model with 200 samples
In [3]: X = np.random.randint(2, size=(200, 5000))
In [4]: y = np.random.randint(2, size=(200, 1)).ravel()
In [5]: clf = BernoulliNB()
In [6]: model = clf.fit(X, y)

$p(S=s)\prod_{i=1}^n p(\mathbf{w_i}|S=s)$ $p(w_i|S=1)$ $1-p(w_i|S=1)$ $\prod_i^{5000}$ $5e^{-324}$ $0/0$

In [7]: (np.nextafter(0, 1)*2) / (np.nextafter(0, 1)*2)
Out[7]: 1.0

In [8]: (np.nextafter(0, 1)/2) / (np.nextafter(0, 1)/2)
/home/lerner/anaconda3/bin/ipython3:1: RuntimeWarning: invalid value encountered in double_scalars
  #!/home/lerner/anaconda3/bin/python
Out[8]: nan
In [9]: l_cpt = model.feature_log_prob_
In [10]: x = np.random.randint(2, size=(1, 5000))
In [11]: cls_lp = model.class_log_prior_
In [12]: probs = np.where(x, np.exp(l_cpt[1]), 1-np.exp(l_cpt[1]))
In [13]: np.exp(cls_lp[1]) * np.prod(probs)
Out[14]: 0.0

$p(S=1|w_1, ... w_n)$

sklearnの公式実装を見ることができます：

jll = self._joint_log_likelihood(X)
# normalize by P(x) = P(f_1, ..., f_n)
log_prob_x = logsumexp(jll, axis=1)
return jll - np.atleast_2d(log_prob_x).T

分子の場合、確率の積を対数尤度の合計に変換し、分母の場合、scipyでlogsumexpを使用しました。

out = log(sum(exp(a - a_max), axis=0))
out += a_max

$\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $\log\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $max\_jll+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $max\_jll$

そしてここに派生があります：

$\begin{align} \log \sum_{s=\{0,1\}} e^{jll_s} & = \log \sum_{s=\{0,1\}} e^{jll_s}e^{max\_jll-max\_jll} \\& = \log e ^{max\_jll}+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll} \\& = max\_jll+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll} \end{align}$

$max\_jll$ $a\_max$

$\log p(S=1|w_1, ... w_n)$

return jll - np.atleast_2d(log_prob_x).T

お役に立てば幸いです。

参照：
1. ベルヌーイ単純ベイズ分類器
2. 単純ベイズによるスパムフィルタリング–単純ベイズはどれですか？

— ラーナー・チャン
ソース