ベータ事前分布は二項尤度の下で事後にどのように影響しますか

2つの質問があります。

質問1：可能性が二項であり、事前分布がベータである場合、事後分布がベータ分布であることをどのように示すことができますか

質問2：以前のパラメーターの選択は事後にどのように影響しますか？それらはすべて同じである必要はありませんか？

Rでこれらの質問に答えることは可能ですか？

最初の質問に答えるには、ベイズの定理を使用して、2項尤度を以前のベータで更新する必要があります。これを行う方法をよりよく理解するには、最初に次の結果を確認します ここで、比例結果を利用できるので、ベータ分布は、二項尤度の事前共役です。

$$p(\theta|\mathbf{x})=\frac{p(\mathbf{x}|\theta)p(\theta)}{\int_{\Theta}p(\mathbf{x}|\theta)p(\theta)d\theta}\propto p(\mathbf{x}|\theta)p(\theta)$$

ここで、およびます。ベイズの定理を使用して、次のように事後を計算できます。θ 〜ベータ版（α 、β $x_i\sim\text{Binomial}(N_i,\theta)$$\theta\sim\text{Beta}(\alpha,\beta)$

$$\begin{align} p(\theta|\mathbf{x})&\propto p(\mathbf{x}|\theta)p(\theta)\\ &\\ &\propto \binom{N}{x_i}\theta^{s}(1-\theta)^{N-s}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto \theta^{s}(1-\theta)^{N-s}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto\theta^{\alpha+s-1}(1-\theta)^{\beta+N-s-1} \end{align}$$ ここで、および$s=\sum_{i=1}^nx_i$$N=\sum_{i=1}^nN_i$

これで、方程式の比例する右辺が、パラメータ および が更新された別のベータ分布のカーネルとして認識されます。

$$\alpha^*=\alpha+\sum_{i=1}^nx_i$$ $$\beta^*=\beta+\sum_{i=1}^nN_i-\sum_{i=1}^nx_i$$

ここで、問題の2番目の部分として、異なる事前分布が与えられた場合の事後分布の次のグラフを考えます。

上記のプロットは、5つの異なる事前分布です：

$$\begin{align*} \text{Prior }1&:\,\,\theta\sim\text{Beta}(.5,.5)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(5,1)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(1,3)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,2)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,5) \end{align*}$$

現在、事後分布はこの状況で事前分布を選択してもあまり変化しないようですが、常にそうであるとは限りません。たとえば、である（コード内の）二項分布からサンプリングした場合、事後分布は事前分布の選択によって劇的に変化することがわかります。$N=2$

Rすべてを生成するために使用されるコードは次のとおりです。

colors = c("red","blue","green","orange","purple")

n = 10
N = 10
theta = .2

x = rbinom(n,N,theta)
grid = seq(0,2,.01)


alpha = c(.5,5,1,2,2)
beta = c(.5,1,3,2,5)

plot(grid,grid,type="n",xlim=c(0,1),ylim=c(0,4),xlab="",ylab="Prior Density",
     main="Prior Distributions", las=1)
for(i in 1:length(alpha)){
    prior = dbeta(grid,alpha[i],beta[i])
    lines(grid,prior,col=colors[i],lwd=2)
}

legend("topleft", legend=c("Beta(0.5,0.5)", "Beta(5,1)", "Beta(1,3)", "Beta(2,2)", "Beta(2,5)"),
       lwd=rep(2,5), col=colors, bty="n", ncol=3)

for(i in 1:length(alpha)){
    dev.new()
    plot(grid,grid,,type="n",xlim=c(0,1),ylim=c(0,10),xlab="",ylab="Density",xaxs="i",yaxs="i",
    main="Prior and Posterior Distribution")

    alpha.star = alpha[i] + sum(x)
    beta.star = beta[i] + n*N - sum(x)
    prior = dbeta(grid,alpha[i],beta[i])
    post = dbeta(grid,alpha.star,beta.star)

    lines(grid,post,lwd=2)
    lines(grid,prior,col=colors[i],lwd=2)
    legend("topright",c("Prior","Posterior"),col=c(colors[i],"black"),lwd=2)

}