正常モデルと二項モデルでは、事後分散は常に前の分散よりも小さいですか?


10

またはそれを保証する条件は何ですか?一般に(通常モデルと二項モデルだけでなく)この主張を破った主な理由は、サンプリングモデルと以前のモデルの間に不整合があるためだと思いますが、他に何があるでしょうか。私はこのトピックから始めているので、簡単な例に本当に感謝しています

回答:


9

の事後分散と前分散は(は標本を表す)を満たすため、 すべての量が存在すると仮定すると、事後分散は平均して()小さくなると予想できます。これは特に、事後分散がで一定である場合に当てはまります。ただし、他の回答で示されているように、結果は期待に基づいてのみ保持されるため、事後分散の実現が大きくなる可能性があります。θX

var(θ)=E[var(θ|X)]+var(E[θ|X])
XX

アンドリュー・ゲルマンから引用すると、

ベイジアンデータ分析の第2章でこれを検討しています。宿題の問題のいくつかを考えています。短い答えは、予想では、より多くの情報を取得すると事後分散が減少することですが、モデルによっては、特定の場合に分散が増加する可能性があります。正規分布や二項分布などの一部のモデルでは、事後分散のみが減少します。ただし、自由度の低いtモデルを考えてください(これは、共通の平均と異なる分散を持つ法線の混合として解釈できます)。極端な値を観察した場合、それは分散が高いことの証拠であり、実際に事後分散が上昇する可能性があります。


@Xian、あなたの答えと矛盾しているように見える私の「答え」を見てください。ゲルマンとあなたがベイジアン統計について何か言うなら、私は私よりもあなたを信頼する傾向があります...
クリストフ・ハンク

1
私たちの答えの間に矛盾はありません。あなたの例に対応するBDAの演習さえあります。つまり、ベータ事後分散を以前の分散よりも大きく設定するデータを見つけます。
西安

興味深いフォローアップの質問は次のとおりです。サンプルサイズが増加するにつれて、分散が0に収束することを保証する条件は何ですか。
ジュリアン

8

これは、回答ではなく@ Xi'anへの質問です。

事後分散 を有する試行回数、成功の数とベータの係数の前、前分散超える は、以下の例に基づく二項モデルでも可能です。事前分布は対照的であり、事後は「中間」にあります。それはゲルマンによる引用と矛盾しているようです。

V(θ|y)=α1β1(α1+β1)2(α1+β1+1)=(α0+k)(nk+β0)(α0+n+β0)2(α0+n+β0+1),
nkα0,β0
V(θ)=α0β0(α0+β0)2(α0+β0+1)
n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

したがって、この例は、二項モデルの事後分散が大きいことを示しています。

もちろん、これは予想される事後変動ではありません。それは矛盾があるところですか?

対応する図は

ここに画像の説明を入力してください


4
完璧なイラスト。そして、実現された事後分散が以前の分散よりも大きく、期待値が小さいという事実の間に矛盾はありません。
西安

1
私はこの回答へのリンクをここでも議論さていることの優れた例として提供しました。この結果(データが収集されるにつれて分散が時々増加する)はエントロピーに拡張されます。
Don Slowik
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.