不適切な事前はどのようにして適切な事後分布に導くことができますか？

適切な事前配布の場合、

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ 。

このステップのための通常の正当化は、周辺分布することである、、に対して一定であると事後分布を導出する際に、したがって無視することができます。 $X$ $P(X)$ $\theta$

しかし、不適切な事前分布の場合、事後分布が実際に存在することをどのように知っていますか？この一見円形の議論には何かが欠けているようです。つまり、事後が存在すると仮定した場合、事後を導出する方法のメカニズムは理解しますが、事後が存在する理由についての理論的正当性が欠落しているようです。

PS私はまた、不適切な事前が不適切な事後につながる場合があることを認識しています。

— jsk
ソース

回答:

私たちは、一般的に不適切な事前分布から事後承諾 $\pi(\theta)$ の場合を

\frac{π (X ∣ θ) π (θ)}{π (X)}

$\frac{\pi(X \mid \theta) \pi(\theta)}{\pi(X)}$ 存在し、有効な確率分布です（つまり、サポートを介して1に正確に統合されます）。基本的にこれはつまるところ

π (X) = \int π (X ∣ θ) π (θ) d θ

$\pi(X) = \int \pi(X \mid \theta) \pi(\theta) \,d\theta$ 有限であること。このような場合は、我々は、この数量を呼び出し

π (θ ∣ X)

$\pi(\theta \mid X)$ と受け入れる私たちが望むことを事後分布としてそれを。ただし、これは事後分布ではなく、条件付き確率分布でもないことに注意することが重要です（これらの2つの用語はここでの文脈では同義です）。

さて、私は上記の不適切な事前分布から「事後」分布を受け入れると言いました。それらが受け入れられる理由は、前のがまだパラメーター空間の相対的な「スコア」を与えるためです。すなわち、比 $\pi(\theta)$ 我々の分析に意味をもたらします。場合によっては不適切な事前分布から得られる意味は、適切な事前分布では利用できない場合があります。これは、それらを使用するための潜在的な正当化です。不適切な事前事態に対する実際的な動機付けのより徹底的な調査については、Sergioの回答を参照してください。 $\frac{\pi(\theta_1)}{\pi(\theta_2)}$

この量のことを指摘し、それの価値望ましい理論特性ならびに、持っていないDegroot＆Schervishを： $\pi(\theta \mid X)$

不適切な事前分布は真の確率分布ではありませんが、そうであるふりをする場合、事前ハイパーパラメーターの極値を持つ適切な共役事前分布を使用して取得した事後分布を近似する事後分布を計算します。

私はあなたの答えの中のいくつかのことに混乱しています。あなたは、上記が有限である場合、後輩を受け入れると言います。その積分が有限でない場合、事後は有限ではないということですか？また、この場合は事後を使用しているように見えますが、実際の分布ではありません。それが実際の分布である場合はありませんか？また、事前の比率はこれと何の関係がありますか？接続が表示されません。

— ベンエリザベス区

場合@BenElizabethWard

存在している、そして、積分

存在している必要があります（したがって、有限で）。contrapositiveも同様に真である：場合

（無限大）が存在しない場合、

存在しません。それはそれは、有効な確率分布を存在している場合には

の確率分布です。ただし、与えられたデータ尤度を持つ

事後分布ではありません

π (θ ∣ X)

$\pi(\theta \mid X)$

π (X)

$\pi(X)$

π (X)

$\pi(X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ)

$\pi(\theta)$

。その事前分布の事後は存在しません。我々は受け入れる

、それは近似値であるため、我々の分析では。

π (X ∣ θ)

$\pi(X \mid \theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

@BenElizabethWardこの比率は、適切な事前情報にロードできない可能性のある有用な情報が事前情報に含まれていることを示すために使用されました。これを含めるように回答を編集します。

@jsk

の確率分布ではなく、事後分布の定義は、その必要が

それがコールに浮気だので、確率分布で

、それは確率分布であるとき、事後分布を。Degroot＆Schervishは、「..我々は事後分布を計算します。」と言います。これにより、引用で前述したように、「[不適切な事前分布]が[適切な事前分布]であるふりをすることに同意したと仮定します。

π (θ)

$\pi(\theta)$

π (θ)

$\pi(\theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

将来の読者がこのコメント交換を読む必要がないように、回答を完全かつ自己完結型にするために、回答を更新しますか？

— jsk

「理論的な」答えと「実用的な」答えがあります。

理論的な観点からは、事前確率が不適切な場合、事後確率は存在しません（まあ、より健全な声明についてはマシューの答えを見てください）が、限定的な形で近似される場合があります。

データは、パラメータとベルヌーイ分布から条件付きIIDサンプルを含む場合、およびパラメータを持つベータ分布有し、及び、の事後分布ベータパラメータを有する分布である（観測値、成功）およびその平均は $\theta$ $\theta$ $\alpha$ $\beta$ $\theta$ $\alpha + s, \beta+n-s$ $n$ $s$ $(\alpha+s)/(\alpha+\beta+n)$ 。我々は前にhypeparametersで前不適切な（と非現実）ベータ分布を使用する場合は、及びそのふり、我々が得る適切な事後比例に、すなわちパラメータを持つベータ分布のPDF 及び $\alpha=\beta=0$ $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$ $\theta^{s-1}(1-\theta)^{n-s-1}$ $s$ $n-s$ 定数係数を除きます。これは、パラメーターおよびベータ事前分布の事後の制限形式です（Degroot＆Schervish、Example 7.3.13）。 $\alpha\to 0$ $\beta\to 0$

平均の通常モデルでは、公知の分散、及びのための事前分布、先行精度場合、、データ精度に対して小さい、は、事後分布がほぼ同じであれば： $\theta$ $\sigma^2$ $\mathcal{N}(\mu_0,\tau^2_0)$ $\theta$ $1/\tau^2_0$ $n/\sigma^2$ $\tau^2_0=\infty$ 、すなわち事後分布が仮定から生じるものであり、約するための定数に比例した、厳密には不可能である分布が、限定形後方からアプローチが存在しない（ゲルマンら、P。52）。

p (θ ∣ x) \approx N (θ ∣ \bar{x}, σ^{2} / n)

$p(\theta\mid x)\approx \mathcal{N}(\theta\mid\bar{x},\sigma^2/n)$

p (θ)

$p(\theta)$

θ \in (- \infty, \infty)

$\theta\in(-\infty,\infty)$

τ_{0}^{2}

$\tau^2_0$

\infty

$\infty$

ビューの"実用的"観点から、どんななので、もしで、その後、 $p(x\mid\theta)p(\theta)=0$ $p(x\mid\theta)=0$ $p(\theta)$ $p(x\mid\theta)\ne 0$ $(a,b)$ 。不適切な事前分布を使用して、など、尤度が認識できる領域での事前分布の局所的な挙動を表すことができます。十分近似する前には以下のような形態は以下のことを仮定することにより又は $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$ $(a,b)$ $f(x)=k, x\in(-\infty,\infty)$ のみにわたって、範囲、我々は（実際に使用する事前確率が適正であることを確認それゼロ外部に好適テールことことをボックスとTiao、P 21。）。事前分布もしそうならあるが、制限され、それがあるかのようである $f(x)=kx^{-1}, x\in(0,\infty)$ $(a,b)$ $\theta$ $\mathcal{U}(-\infty,\infty)$ $(a,b)$ 、すなわち。具体的な例として、これはスタンで発生することです。パラメータに事前分布が指定されていない場合、暗黙的にサポートの均一な事前分布が与えられ、これは尤度と定数の乗算として処理されます。 $\theta\sim\mathcal{U}(a,b)$ $p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

— セルジオ
ソース

理論的な観点から、なぜ存在しないのかについて詳しく説明していただけますか？

— jsk

彼の答えとコメントでマシューよりもうまく説明できませんでした。

— セルジオ

実用的なセクションでは、yとは何ですか？また、そのセクションでは、いくつかの必要があり

の用語は、尤度も

？

p (θ ∣ x)

$p(\theta \mid x)$

p (x ∣ θ)

$p(x\mid \theta)$

— jsk

ありがとう。もう1つ間違いがあるかもしれないと思います...

書きますが、事前確率は

依存できません。やるあなたの平均

？

P (θ) = k x^{- 1}

$P(\theta)=kx^{-1}$

x

$x$

P (θ) = k θ^{- 1}

$P(\theta)=k\theta^{-1}$

— jsk

右！Box＆Tiaoにある式を書き直しました。私は、均質な表記法を選択しようとしていた（例えばゲルマンは使用しています

するのではなく

、DeGrootの用途

事前分布と事後など）が、私は...混乱に感謝してしまいました！

y

$y$

x

$x$

ξ (.)

$\xi(.)$

— セルジオ

しかし、不適切な事前分布の場合、事後分布が実際に存在することをどのように知っていますか？

後部も適切でない可能性があります。事前確率が不適切であり、尤度が平坦である場合（有意な観測がないため）、事後確率は事前確率に等しく、また不適切です。

通常、いくつかの観測があり、通常、尤度は平坦ではないため、事後は適切です。

— ニール・G
ソース