事後と事前および尤度とは非常に異なる

事前確率と尤度が互いに非常に異なる場合、事後がどちらにも似ていない状況が発生することがあります。たとえば、正規分布を使用するこの図を参照してください。

これは数学的には正しいですが、私の直感とは一致していないようです-データが強く保持されている信念またはデータと一致しない場合、どちらの範囲もうまくいかないと予想し、フラットな後方範囲全体または恐らく事前確率と尤度周辺の二峰性分布（どちらがより論理的な意味を持っているかはわかりません）。私は確かに、私の以前の信念やデータのいずれにも一致しない範囲の周りのきつい後方を期待しないでしょう。より多くのデータが収集されると、事後確率が尤度に向かって移動することを理解していますが、この状況では直感に反するように思われます。

私の質問は次のとおりです。この状況に対する私の理解はどのように欠陥がありますか（または欠陥がありますか）。後部は、この状況の「正しい」関数です。そうでない場合、他にどのようにモデル化できますか？

完全を期すために、事前確率はとして与えられ、尤度はとして与えられます。N（μ = 6.1 、σ = 0.4 $\mathcal{N}(\mu=1.5, \sigma=0.4)$$\mathcal{N}(\mu=6.1, \sigma=0.4)$

編集：与えられた答えのいくつかを見て、私は非常によく状況を説明していないように感じています。私のポイントは、ベイジアン解析は非直感的な結果をもたらすように思われた特定のモデルで仮定。私の望みは、おそらく悪いモデルの決定について、事後部が何らかの形で「説明」することでした。これについては、回答で詳しく説明します。

はい、この状況は発生する可能性があり、モデリングの前提、特に事前モデルおよびサンプリングモデルの正規性（尤度）の特徴です。代わりに、事前にコーシー分布を選択した場合、事後分布は大きく異なります。

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

私はこれまでに与えられた答えに幾分反対します-この状況について奇妙なことは何もありません。とにかく、可能性は漸近的に正常であり、正常な事前確率はまったく珍しいことではありません。事前と尤度が同じ答えを与えないという事実で、両方をまとめると、ここで話している状況があります。以下に、jaradniemiのコードでそれを示しました。

そのような観察の通常の結論は、a）モデルが構造的に間違っている、b）データが間違っている、c）事前が間違っている、ということです1に言及します。しかし、確かに何かが間違っており、何らかの事後予測チェックを行う場合にもこれが表示されます。

1 Hartig、F .; ダイク、J .; ヒックラー、T .; ヒギンズ、SI; オハラ、RB; Scheiter、S.＆Huth、A.（2012）データへの動的植生モデルの接続-逆の視点。J. Biogeogr。、39、2240-2252。http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

この質問に関して私が探していた答えは、Bayesian Biostatisticsの LesaffreとLawsonによって最もよく要約されているように感じます

後方精度は、すなわち、前とサンプル精度の合計である：

$$\frac{1}{\sigma^2} = w_{0} + w_{1}$$ $\mu$$\sigma$

これが私にとって要約し、他の回答で大まかに概説されていることは、通常の尤度で通常の事前確率をモデリングする場合、事後がどちらよりも正確な状況になる可能性があるということです。これは直感に反しますが、これらの要素をこのようにモデリングすることの特別な結果です。

$X_1$$X_0$$\mu \sim N(1.6, 0.4^2)$$X_1 \sim N(\mu, 0.4^2)$$X_1$$X_1$$\sqrt{0.4^2 + 0.4^2}=0.56$$2\phi(-(6.1-1.6)/0.56)=9.3\cdot 10^{-16}$$\mu$

$X_0 \sim N(\mu,0.4^2)$$X_0$$X_0$$X_1$$|X_1-X_0|>6.1-1.6$

$X_0$$X_1$

しばらくこれについて考えた後、私の結論は、悪いモデリングの仮定では、事後は以前の信念や可能性のいずれとも一致しない結果になる可能性があるということです。これから、自然な結果は、事後ではなく、一般に、分析の終わりです。事後データがデータにほぼ適合している場合、または事前確率と尤度の間で拡散する必要がある場合（この場合）、事後予測チェックなどで、事後チェックする必要があります。同様。これをモデルに組み込むには、確率的ステートメントに確率をかける能力が必要と思われますが、それは不可能だと思います。

これは実に興味深い質問だと思います。それで寝ていたので、私は答えに刺し傷があると思います。主な問題は次のとおりです。

• 尤度をガウスpdfとして扱いました。しかし、それは確率分布ではありません-可能性です！さらに、軸に明確なラベルを付けていません。これらのことを組み合わせることで、後続のすべてが混乱しました。

$\mu$$\sigma$$P(\mu|\mu', \sigma')$$\mu'$$\sigma'$$P(X|\mu, \sigma)$$X$$P(\mu|X, \sigma, \mu', \sigma')$$\mu$

$\mu$$P(X|\mu)$

$$P(\mu|\mu', \sigma') = exp(-\frac{(\mu-\mu')^2}{2 \sigma'^2})\frac{1}{\sqrt{2 \pi \sigma'^2}}$$

$$P(X|\mu,\sigma) = \prod_{i=1}^N exp(-\frac{(x_i-\mu)^2}{2 \sigma^2})\frac{1}{\sqrt{2 \pi \sigma^2}}$$

$\sigma'^2 = \sigma^2/N$$\sigma^2$$N$$X$

したがって、事前確率と尤度は等しく有益です。なぜ後部は二峰性ではないのですか？これは、モデリングの前提によるものです。これが設定された方法（通常の事前、通常の尤度）で暗黙的に正規分布を仮定し、事後を制約して単峰性の答えを与えました。それは、正規分布の単なる特性であり、それらを使用することで問題に焼き付けました。別のモデルが必ずしもこれを行うとは限りません。私は、コーチ分布がマルチモーダルの尤度、したがってマルチモーダルの事後分布を持つ可能性があると感じています（今のところ証拠はありませんが）。

したがって、私たちは単峰性でなければならず、事前確率は尤度と同じくらい有益です。これらの制約の下で、最も賢明な推定値は、どちらを信じるべきかを判断する合理的な方法がないため、尤度と事前の間にある点のように聞こえ始めています。しかし、なぜ後部はよりきつくなるのでしょうか？

$\sigma$$\mu$$\sigma$$\sigma$$\sigma$$\mu$

（視覚化する方法は、2つのサンプルポイントを使用して、既知の分散でガウス平均を推定することを想像することです。2つのサンプルポイントがガウスの幅よりもはるかに大きい場合（つまり、平均値が実際にそれらの間にあることを示す強力な証拠です。この位置から平均値をわずかにずらすと、サンプルの確率が指数関数的に低下します。）

要約すると、説明した状況は少し奇妙であり、このモデルを使用することで、自分が気付いていなかった問題にいくつかの仮定（単峰性など）を含めました。しかし、そうでなければ、結論は正しいです。