ベイジアン更新-コイン投げの例

ベイジアン更新について質問があります。一般に、ベイジアン更新は、以前の信念分布から事後を取得するプロセスを指します。

別の方法として、最初のステップの後を、さらなる計算のための事前の入力として使用することで、用語を理解できます。

以下は簡単な計算例です。方法aは標準計算です。方法bでは、次の事後を計算する前に、事後出力を入力として使用します。

メソッドaを使用して、P（F | HH）= 0.2を取得します。メソッドbを使用すると、P（F | HH）= 0.05が得られます。私の質問は、方法bが有効なアプローチであるかどうかです。

---

問題：あなたはコインを2回投げ、2つのヘッドを獲得します。コインが公正である確率はどのくらいですか、すなわち$Pr(Fair\ coin| HH)$？

では、最初のトスについて： $Pr(Fair\ coin| H) = \frac{Pr(Head|Fair)\cdot P(Fair)}{Pr(Head|Fair) \cdot P(Fair)+Pr(Head|Biased) \cdot P(Biased)} = \frac{Pr(H|F)\cdot P(F)}{P(H)} \quad\quad (1)$

事前信念P（Fair）= 0.5を開始すると仮定して、最初のトスのP（F | H）を見つけたい

以下は、中間ステップの計算です。

$P(H|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {1 \choose 1} 0.5^{1}(0.5)^{0}= 0.5$

$P(H)= P(H|F) \cdot P(F)+ P(H|Biased) \cdot P(Biased)=(0.5 \cdot 0.5) +(1 \cdot 0.5) = 0.75$

（注：P（H |バイアス）= 1なので、コインの両側にヘッドがある極端な例を想定すると、バイアスされたコインでヘッドが得られる確率= 1（計算が簡単になります））

したがって、（1）に接続すると、次のようになります。

$Pr(F| H) =\frac{Pr(H|F)\cdot P(F)}{P(H)} = \frac{0.5 \cdot 0.5}{0.75} = 0.33$

---

ここで、もう一度コインを投げて、別のHを得ます。計算するには $Pr(F| HH)$ 、 我々

a）P（Fair）= 0.5を使い続ける

$Pr(F|HH) = \frac{Pr(HH|F)\cdot P(F)}{Pr(HH|F) \cdot P(F)+Pr(HH|Biased) \cdot P(Biased)} = \frac{Pr(HH|F)\cdot P(F)}{P(HH)} \quad\quad (2)$

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.5^{2}(0.5)^{0}= 0.25$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.25 \cdot 0.5) +(1 \cdot 0.5) = 0.625$

したがって、（2）に接続すると、 $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.25 \cdot 0.5}{0.625} = 0.2$

---

または、計算するとどうなるか $Pr(F| HH)$ を使用して

b）最初のステップでPr（F | H）から得た更新された信念P（Fair）= 0.33

この場合、

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.33^{2}(1-0.33)^{0}= 0.1089$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.1089 \cdot 0.33) +(1 \cdot 0.67) = 0.705937$

したがって、（2）に接続すると、 $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.1089 \cdot 0.33}{0.705937} = 0.05091$

---

メソッドaを使用して、P（F | HH）= 0.2を取得します。メソッドbを使用すると、P（F | HH）= 0.05が得られます。私の質問は、方法bが有効なアプローチであるかどうかです。

あなたのアプローチb）は間違っています：すべてのデータが一緒に使用されて前のものを更新して事後に到達するシングルステップ更新と、データが1つずつ使用されるベイズ逐次（再帰とも呼ばれる）更新の両方後続の反復の前になる事後を取得するには、まったく同じ結果を与える必要があります。これは、ベイジアン統計の柱の1つである一貫性です。

エラーは単純です。最初のサンプル（最初の「Head」）で以前のサンプルを更新すると、新しい以前のサンプルを更新するために、見込みに含めるサンプルは残り1つだけになります。数式では：

$$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}$$

この式はベイズの定理にすぎず、最初のイベント「Head」がすでに発生した後で適用されます。条件付き確率はそれ自体確率であるため、ベイズの定理はイベント「Head」に条件付けされた確率にも有効であり、実際に証明するものはありません。 。しかし、この結果が自明ではない場合があることに気づいたため、少し長めの証拠を提示しました。

$$P(F|HH) =\frac{P(HH|F)P(F)}{P(HH)}= \frac{P(H|H,F)P(H|F)P(F)}{P(HH)}$$

条件付き確率の連鎖規則による。次に、分子と分母に$P(H)$、あなたは得る

$$\frac{P(H|H,F)P(H|F)P(F)}{P(HH)}=\frac{P(H|H,F)P(H|F)P(F)P(H)}{P(HH)P(H)}=\frac{P(H|H,F)P(H)}{P(HH)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)}{P(H|H)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)P(F|H)}{P(H|H)}$$

最後のステップでは、ベイズの定理を適用しました。今：

$$P(H|H,F)= P(H|F)=0.5$$

これは明白です：条件付きでコインが公正（またはバイアス）であることを条件として、コイントスをiidとしてモデル化しています。この同じアイデアを分母に適用すると、次のようになります。

$$P(H|H)= P(H|F,H)P(F|H)+P(H|B,H)P(B|H)=P(H|F)P(F|H)+P(H|B)P(B|H)=0.5\cdot0.\bar{3}+1\cdot0.\bar{6}$$

最終的に：

$$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}=\frac{0.5\cdot0.\bar{3}}{0.5\cdot0.\bar{3}+1\cdot0.\bar{6}}=0.2$$

QED

---

それだけです。ベイジアン逐次更新を使用して楽しんでください。多くの状況で非常に役立ちます。詳細を知りたい場合は、インターネット上に多くのリソースがあります。これは非常に便利です。