二項一様ベイズ統計

パラメータの事前分布が均一である二項分布があるとします。パラメータの事後分布を取得するにはどうすればよいですか？

これは、二項尤度関数に共役である事前分布を使用する場合、非常に簡単です。結果の事後分布が事前分布と同じタイプの分布である場合、事前確率と尤度は共役であるといいます。つまり、2項データがある場合は、事後ベータを取得する前にベータを使用できます。共役事前分布は、ベイジアン更新を行うために必要ではありませんが、計算が非常に簡単になるため、可能であれば使用すると便利です。

ベータ事前分布には、それがどのように見えるかを決定する2つの形状パラメーターがあり、ベータ（α、β）と表されます。事前分布をp（成功の確率）として均一にすることは、両方のパラメーターを1に設定してベータ分布を使用することと同じです。

事後を取得するには、ベイズの規則を使用します。

後方事前x尤度$\propto$

事後は、事前確率を掛けた尤度に比例します。共役分布を使用することの良い点は、ベイジアン更新が基本的な代数と同じくらい簡単であることです。二項尤度関数の式をとります。

$Binomial Likelihood \propto p^x (1-p)^{n-x}$

ここで、xはn回の試行の成功数です。そして、それをαとβの形状パラメータで事前にベータの式で乗算し、

$Beta Prior \propto p^{\alpha-1} (1-p)^{\beta-1}$

事後について次の式を取得するには、

$Beta Posterior \propto p^x(1-p)^{n-x}p^{\alpha-1}(1-p)^{\beta-1}$

同じ底の項を乗算していることがわかります。つまり、指数を加算できます。したがって、事後式は次のように書き直すことができます。

$Beta Posterior \propto p^xp^{\alpha-1}(1-p)^{n-x}(1-p)^{\beta-1}$

単純化し、

$Beta Posterior \propto p^{x+\alpha-1}(1-p)^{n-x+\beta-1}$

これは、次のことを意味します。事前を取り、成功と失敗をさまざまな指数に追加し、出来上がり。つまり、前のBeta（α、β）を取得し、データxの成功をに、失敗n– xをに追加すると、後のBeta（ + x、$\alpha$$\beta$$\alpha$$\beta$+ nx）。

事前にBeta（1,1）で開始すると、事後は2項尤度の正確な形状を持ち、事後はBeta（1 + x、1 + nx）と記述されます。

グラフ

以前のユニフォームであるBeta（1,1）から始めると、次のようになります。

25件のトライアルで13件の成功があった場合、新しい事後はBeta（1 + 13,1 + 12）またはBeta（14,13）です。以下に示します。

このようなグラフを作成するコードは、私のブログ（こちら）にあります。