周波数についてのベイズ推定における事前のベータ共役の理解

以下は、ボルスタッドの「ベイジアン統計入門」からの抜粋です。

そこにいるすべての専門家にとって、これは些細なことかもしれませんが、ある値の事後確率を計算するために統合を行う必要がないと著者が結論付けている方法はわかりません。比例であり、すべての項がどこから来たのか（尤度x事前）である2番目の式を理解しています。さらに、分子だけが直接比例しているので、分母を気にする必要はありません。しかし、3番目の方程式に移って、ベイズ規則の分母を忘れていませんか？どこに行ったの？そして、ガンマ関数によって計算された値、それは定数ではありませんか？定数はベイズの定理で相殺されませんか？$\pi$

重要なのは、事後が何に比例するかがわかっていて、（定数）分母を取得するために積分を行う必要がないということです。これは、確率密度関数が比例する分布であることを認識しているためです。（事後など）はベータ分布です。このようなベータpdfの正規化定数はであるため、統合せずに事後確率pdfを取得します。そして、はい、ベイズの定理の正規化定数は、事後密度の正規化定数と同じように定数です（観測されたデータと事前に仮定した場合）。Γ （α + β $x^{\alpha-1} \times (1-x)^{\beta-1}$$\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

セットアップ

あなたはこのモデルを持っています： 密度は、 、特に f（p）=

$$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$$ $$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$$ $$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$$ $$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$$

暗黙のバージョン

今。事後分布は、事前確率に尤度掛けたものに比例します。定数（つまり、ないもの）を無視して、次の結果を得ることができ： $f$$g$$p$

$$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$$

これは、パラメーターおよびを使用したベータ分布の「形状」であり、これらのパラメーターを使用したベータ分布に対応する正規化定数は次のとおりです。または、ガンマ関数では、 言い換えれば、余分なレッグワークなしで比例関係よりも少し上手くやることができ、直等になる： $\alpha + x$$\beta + n - x$$1 / B(\alpha + x, \beta + n - x)$

$$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$$ $$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$$

したがって、ベータ分布の構造の知識を使用して、厄介な統合などを行わずに、事後の表現を簡単に復元できます。

ジョイント分布の正規化定数を暗黙的にキャンセルすることで、事後的に完全に回避できるため、混乱を招く可能性があります。

明示的なバージョン

また、手続き的に物事を粉砕することもできます。

実際にはそれほど長くはありません。共同分布は の周辺分布として

$$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$ $x$ $$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$$

ですから、ベイズの定理を使用して これは以前に取得したものと同じです。

$$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$

総論

ビョルン@によって与えられた答えは、もう少し明示し、同じ時間でより一般的にするために、我々は我々が到着したことを覚えておいてくださいベイズの定理から

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ （Bayes Thereom）

ここで、は観測されたデータを表し、は確率論的に推論したい未知のパラメーターです-問題の場合、パラメーターは未知の周波数です。単純にするために、ベクトルとスカラーのどちらについて話しているかは、今のところ心配しないでください。$X$$\theta$$\pi$

継続的な場合のマージナリゼーションは、

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

上で見たように、共同分布は等しい。これは、ある一定のそれだけに依存したパラメータ「アウト統合」の後から定数項を。$p(X,\theta)$$likelihood \times prior$

したがって、我々はできるベイズの定理定式などを

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$と$Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

したがって、ベイズの定理の通常の比例形式に到達します。

問題への応用

これで、質問のケースのが次の形式であるため、知っていることを単純にプラグインする準備ができました。$likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

ここで、、およびは、二項尤度とベータから定数項を収集します前に。$a' = a+y$$b' = b+n-y$$A = \frac{1}{B(a,b)}\binom{n}{y}$

私たちは今、できるビョルン@によって与えられた答えを使用見つけるために、それには、この統合ベータ関数 定数項の倍コレクションので、$B(a',b')$$A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

共同分布の定数項はすべて分母と分母に同時に表示されるため（@jtobinの回答を参照）、常に相殺されることに注意してください。したがって、実際に気にする必要はありません。

したがって、私たちは事後分布が実際にベータ分布であることを認識します。この分布では、事前分布のパラメーター およびを単純に更新して、事後分布に到達できます。これが、ベータ分布事前分布が共役事前分布と呼ばれる理由です。b ′ = b + n − $a' = a+y$$b' = b+n-y$