対数確率対確率積

このウィキペディアの記事によると、計算をより計算的に最適化するものx⋅yとして確率の積を表すことができ-log(x) - log(y)ます。しかし、例を試してみると言う：

p1 = 0.5
p2 = 0.5
p1 * p2 = 0.25
-log(p1) - log(p2) = 2

p3 = 0.1
p4 = 0.1
p3 * p4 = 0.01
-log(p3) - log(p4) = 6.64

確率の積p1とp2高いその後のいずれかp3とp4が、ログ確率が低くなります。

どうして？

記事の意図を誤解しているのではないかと心配しています。多少不明瞭に書かれているため、これは大きな驚きではありません。進行中の2つの異なることがあります。

1つ目は、単にログスケールで作業することです。

つまり、 " "（独立している場合）の代わりに、 " "と書くことができ。実際の確率が必要な場合、最後に指数関数を使用してを取得できます。が、必要に応じてすべて、べき乗は通常、最後の可能なステップに委ねられます。ここまでは順調ですね。$p_{AB} = p_A\cdot p_B$$\log(p_{AB}) = \log(p_A)+ \log(p_B)$$p_{AB}$$\qquad p_{AB}=e^{\log(p_A)+ \log(p_B)}\,,$

2番目の部分は、を置き換え。これは、正の値で作業するためです。$\log p$$-\log p$

個人的には、特に順序の方向を逆にするため、これにはあまり価値がありません（は単調増加なので、場合、 ;この順序逆になり）。$\log$$p_1<p_2$$\log(p_A)< \log(p_2)$$-\log p$

この逆転はあなたに関係しているように見えますが、それは否定の直接的な結果です-負のログ確率で起こるはずです。「希少性」の尺度として負の対数確率を考える-より多く、イベントがある稀（記事は「驚きの価値」、またはとしてそれを指しsurprisalそれについて考えるための別の方法です、）。その反転が気に入らない場合は、代わりに使用してください。$\log p$

負の対数確率を確率に戻すには、べき乗する前に否定する必要があります。私たちが言う場合（ '驚きの価値'のため）、その後、ご覧のように、それはもう一度方向を逆にし、必要なものを返します。$s_i = -\log(p_i)$$s$$p_{AB}=e^{-[s_A+ s_B]}\,.$