ベイジアン事後分布は適切な分布である必要がありますか？

21

事前確率が適切である必要はなく、尤度関数も1に統合されないことを知っています。しかし、後部は適切な分布である必要がありますか？そうである場合/ない場合の影響は何ですか？

distributions bayesian posterior

— ATJ
ソース

15

、私の知る限り、質問は後部がなければならないかどうかではないので（それは、やや前が適正であるとき、後方の潜在的な不正に焦点を当て、以前の答えを、読んで驚きのある適切な（すなわち、1つに統合可能）適切な（すなわち、ベイジアン推論に受け入れられる）事後である。

ベイズ統計では、事後分布が持っている 1が事後平均のような瞬間導き出すことができ、そこから確率分布であると $\mathbb{E}^\pi[h(\theta)|x]$ および信頼できる領域のカバレッジのような確率ステートメント $\mathbb{P}(\pi(\theta|x)>\kappa|x)$ 。もし

\int f （ バツ | θ ） π （ θ ） d θ = + \infty 、 （ 1 ）

$\int f(x|\theta)\,\pi(\theta)\,\text{d}\theta = +\infty\,,\qquad (1)$ 事後のは確率密度に正規化できず、ベイジアン推論は単純に実行できません。そのような場合、後部は存在しません。

π (θ | x)

$\pi(\theta|x)$

実際には、（1）すべてのために保持する必要がありとしないだけのためのサンプル空間内の観察についてそうでない場合には、選択前ことに依存するデータ。つまり、二項または負の二項変数の確率のHaldaneの事前確率ような事前確率は使用できません。に対して定義され。 $x$ $x$ $\pi(p)\propto \{1/p(1-p)\}$ $p$ $X$ $x=0$

「不適切な後継者」を考慮できる例外が1つあります。それは、David van DykとXiao-Li Mengによる「The Art of Data Augmentation」にあります。不適切な測定値は、観測が拡張分布の周辺によって生成されるように、いわゆる作業パラメーター 超えています およびvan DykとMengは、この作業パラメーター不適切な事前を設定しますMCMCによる（確率密度として明確に定義されたままのシミュレーションを高速化するため。 $\alpha$

f （ バツ | θ ） = \int_{T （ {バツ}^{8月} ） = バツ} f （ {バツ}^{8月} | θ 、 α ） d {バツ}^{8月}

$f(x|\theta)=\int_{T(x^\text{aug})=x} f(x^\text{aug}|\theta,\alpha)\,\text{d}x^\text{aug}$

p (α)

$p(\alpha)$

α

$\alpha$

π (θ | x)

$\pi(\theta|x)$

eretmochelysの回答、つまりベイジアン決定理論の観点にある程度関連する別の観点では、（1）が発生する設定は、最適な決定につながった場合にまだ許容される可能性があります。すなわち、もし決定使用の影響を評価損失関数である、ベイズ最適な決定を前下で与えられるそして重要なことは、この積分がどこにもないことです（）無限。（1）が保持されるかどうかは、派生にとって副次的です $L(\delta,\theta)\ge 0$ $\delta$ $\pi$

δ^{⋆} （ バツ ） = \arg \underset{δ}{分} \int L （ δ 、 θ ） f （ バツ | θ ） π （ θ ） d θ

$\delta^\star(x)=\arg\min_\delta \int L(\delta,\theta) f(x|\theta)\,\pi(\theta)\,\text{d}\theta$

δ

$\delta$

δ^{⋆} (x)

$\delta^\star(x)$ 、許容性などのプロパティは、（1）が成立する場合にのみ保証されます。

— 西安
ソース

19

事前分布が適切であっても、事後分布は適切である必要はありません。たとえば、形状0.25（適切）のガンマ事前分布があり、データムを平均ゼロおよび分散ガウス分布から描画したと仮定します。がゼロであると観測されたと仮定します。その場合、尤度はに比例し、比例するため、の事後分布が不適切になります。この問題は、連続変数の奇抜な性質のために発生します。 $v$ $x$ $v$ $x$ $p(x|v)$ $v^{-0.5}$ $v$ $v^{-1.25} e^{-v}$

— トム・ミンカ
ソース

クールな例、トム！

— 禅14年

+1、ただし、OPの最後の文に対する答えを拡張できますか？この奇抜な事後は意味がありますか（通常、事後処理で行うようなことをすることができますか）、それとも計算からNaNまたはInfを取得することに似ていますか？モデルに何か問題があるという兆候ですか？

— ウェイン

5

モデルに問題はありません。この事後は、別の観測を受け取った場合、それを乗算して適切な事後に戻ることができるという意味で意味があります。したがって、これはNaNのようなものではありません。NaNでは、以降のすべての操作はNaNです。

— トム・民家

8

これはおそらく問題には遅すぎるかもしれませんが、このような「反例」は初心者に役立つとは思いません。問題は、このセットで任意に定義できるで特定のバージョンのガウス密度を使用するためです。測定ゼロの。したがって、選択したバージョンに応じて、後部を適切または不適切にします。

x = 0

$x=0$

— 西安14

興味深い-一般的なと、事後はパラメーター持つ一般化された逆ガウスです。@ Xi'an-これから適切な事後を取得する別の方法を見るといいでしょう。

x

$x$

- 0.25, 1, x^{2}

$-0.25,1,x^2$

— 確率論的

11

セットを定義する

偽データ = {バツ ： \int f （ バツ ∣ θ ） π （ θ ） d θ = \infty} 、

$\text{Bogus Data} = \left\{ x:\int f(x\mid \theta)\,\pi(\theta)\,d\theta = \infty \right\} \, ,$

P r （ バツ \in 偽データ ） = \int_{偽データ} \int f （ バツ ∣ θ ） π （ θ ） d θ d バツ = \int_{偽データ} \infty d バツ 。

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right) = \int_\text{Bogus Data} \int f(x\mid \theta)\,\pi(\theta)\,d\theta\,dx = \int_\text{Bogus Data} \infty\,dx \, .$

\infty

$\infty$

Bogus Data

$\text{Bogus Data}$

0

$0$

1

$1$

Bogus Data

$\text{Bogus Data}$

0

$0$

P r (X \in Bogus Data) = 0

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)=0$

つまり、事後確率を不適切にするサンプル値の事前予測確率はゼロに等しくなります。

物語の教訓：ヌルセットに注意してください、彼らは噛むかもしれませんが、ありそうにないかもしれません。

PSロバート教授がコメントで指摘したように、事前推論が不適切な場合、この推論は爆発します。

— 禅
ソース

4

あなたはかつて書きました：「適切な事前から始めて、不適切な事後を得ることができれば、推論をやめます。」

— トム・民家

2

頬に少し舌、暗黙の量指定子がありました：可能なすべてのサンプル値について、適切な事前から開始して不適切な事後を取得できる場合、推論を終了します。;-)

— 禅

ところで、驚くべき思い出、トム！

— 禅14年

4

P r (X \in Bogus Data)

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)$

(θ, x)

$(\theta,x)$

1

正解です。答えの推論は、適切な事前分布でのみ機能します。いい視点ね。メモを追加します。

— 禅14

3

正規化されていないディストリビューションで動作する可能性のあるいくつかの例を考えることができますが、1以外のあらゆるものを「ディストリビューション」と呼ぶのは不快です。

$x$ $d$

\begin{aligned} \hat{バツ} & = \arg \underset{バツ}{最大} P_{バツ | D} （ バツ | d ） \\ = \arg \underset{バツ}{最大} \frac{P_{D | バツ} （ d | バツ ） P_{バツ} （ バツ ）}{P_{D} （ d ）} \\ = \arg \underset{バツ}{最大} P_{D | バツ} （ d | バツ ） P_{バツ} （ バツ ） \end{aligned}

$\begin{align} \hat{x} &= \arg \max_x P_{X|D}(x|d) \\ &= \arg \max_x \frac{P_{D|X}(d|x) P_X(x)}{P_D(d)} \\ &= \arg \max_x {P_{D|X}(d|x) P_X(x)} \end{align}$

$P_D$ $x$ $\hat{x}$ $P_{D|X}(d|x) P_X(x)$

— エレトモケリス
ソース

@Zenは、あなたがこの答えについて間違っている（または根本的に不完全である）と思うことについて、より明確にしたいと思いますか？

— whuber

1

OPの質問を解釈する1つの方法は、「事後分布は適切な分布である必要がありますか？」適切な事前で開始し、不適切な事後で終了することが数学的に可能かどうかを尋ねることです。ミンカの答えは、それが起こる明確な例を示しています。私は答えでそれを補完しようとしましたが、これはゼロの事前予測確率のセット内でのみ発生する可能性があることを指摘しました。

— 禅14年

1

@Zen密接に関連する解釈は「後部が適切でない場合、それからどのような情報を得ることができますか？」この受け入れられた答えは、特別な状況（明確に説明されている）に関連する有用で正しいアドバイスを提供するように見えます。受け入れられたことは、エレトモケリスが状況について賢明な推測で家に打ち込んだ信号のように見えます。

— whuber

-2

$n$ $Beta(0,0)$

— オミディ
ソース

3

この答えは間違っています。私の答えをご覧ください。

— トムミンカ14年