ベイジアン予測分布について

9

ベイズ入門コースを受講していますが、予測分布を理解するのが困難です。なぜそれらが役立つのか理解していて、その定義に精通していますが、よくわからないことがいくつかあります。

1）新しい観測のベクトルの正しい予測分布を取得する方法

データのサンプリングモデルと以前の作成したと仮定します。与えられた場合、観測は条件付きで独立していると仮定します。 $p(y_i | \theta)$ $p(\theta)$ $y_i$ $\theta$

いくつかのデータ、以前のを後部に更新します。 $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

新しい観測のベクトルを予測したい場合、、Iこの式これはと等しくありませんなので、予測された観測は独立していませんよね？ $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

その言います Beta（）および Binomial（）（固定。この場合、6つの新しいをシミュレートする場合、これを正しく理解していれば、単一の観測の事後予測に対応するベータ二項分布から独立して6つのドローをシミュレートするのは誤りです。これは正しいです？観測値がわずかに独立していないと解釈する方法がわかりません。これを正しく理解しているかどうかはわかりません。 $\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ $\tilde{y}$

事後予測からのシミュレーション

多くの場合、事後予測からのデータをシミュレートするときは、次のスキームに従います。

以下のための 1から： $b$ $B$

1）からサンプル。 $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2）次に、から新しいデータをシミュレートします。 $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

直感的には見えますが、このスキームが機能することを証明する方法はよくわかりません。また、これには名前がありますか？理由を調べて別の名前を試しましたが、運がありませんでした。

ありがとう！

bayesian prediction

— フレッドL.
ソース

私はstats.stackexchange.com/questions/72570/で同様の質問をしましたが、あなたの質問はこれまでより多くの賛成票を受け取っているようです。

— John

4

は、場合、条件付きで独立していると仮定します。次に、最初の等式は総確率の法則に従い、2番目の等式は積の規則に従い、3番目の等式は仮定の条件付き独立性から続きます：の値が与えられます $X_1,\dots,X_n,X_{n+1}$ $\Theta=\theta$

f_{X_{n + 1} ∣ X_{1}, \dots, X_{n}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1}, Θ ∣ X_{1}, \dots, X_{n}} (x_{n + 1}, θ ∣ x_{1}, \dots, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$

Θ

$\Theta$ 、分布を決定するためにの値は必要ありません。

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

X_{n + 1}

$X_{n+1}$

シミュレーションスキームは正しいです：場合、の分布からを描画し、次に描画しますの分布から。これにより、の分布からのサンプル得られます。 $i=1,\dots,N$ $\theta^{(i)}$ $\Theta\mid X_1=x_1,\dots,X_n=x_n$ $x_{n+1}^{(i)}$ $X_{n+1}\mid\Theta=\theta^{(i)}$ $\{x_{n+1}^{(i)}\}_{i=1}^N$ $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

— 禅
ソース

複数の期間にわたって事後予測を得ている場合はどうでしょうか？私は各を使用してきましたが、新しいthetaを再描画することが理にかなっている理由がわかります。

θ^{(i)}

$\theta^{\left(i\right)}$

x_{n + j}

$x_{n+j}$

— John

2

ステップごとに事後予測分布を生成することの背後にある直感について説明します。

してみましょう確率分布から来た観測データのベクトルであるとlet将来のベクトルである（またはアウト・オブ・サンプル）我々が予測する値。我々は仮定と同じ分布から来ている。この分布に関する情報を取得するために、MLEやMAPの見積もりなど、最良の見積もりを使用するのは魅力的です。ただし、そうすることでに関する不確実性を無視することは避けられません。したがって、処理を進める適切な方法は、事後分布全体で平均化すること、つまりです。注意してくださいまた、その $y$ $p(y|\theta)$ $\tilde y$ $\tilde y$ $y$ $\theta$ $\theta$ $\theta$ $p(\theta|y)$ $\tilde y$ 独立している所与同じ分布から引き出される独立したサンプルであると仮定されているように、。したがって、 $y$ $\theta$ $y$

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

したがって、の事後予測分布は、 $\tilde y$

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

ここで、はのサポートです。 $\Theta$ $\theta$

では、どのようにしてからサンプルを取得するのでしょうか。説明する方法は、合成方法とも呼ばれ、次のように機能します。 $p(\tilde y|y)$

s = 1,2、...、Sの場合

からを描画します $\theta^{(s)}$ $p(\theta|y)$

からを描画 $\tilde y^{(s)}$ $p(\tilde y|\theta^{(s)})$

ここで、ほとんどの状況では、すでにからの描画があるため、2番目のステップのみが必要です。 $p(\theta|y)$

これが機能する理由は非常に単純です。最初に、ことに注意してください。したがって、からパラメータベクトルをサンプリングし、次にこのベクトルを使用してからをサンプリングしますは、共同分布からサンプルを生成します。したがって、サンプル値は、周辺分布からのサンプルです。 $p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ $\theta^{(s)}$ $p(\theta|y)$ $\tilde y^{(s)}$ $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ $p(\tilde y, \theta|y)$ $\tilde y^{(s)}, s=1,2,...,S$ $p(\tilde y|y)$

— バルウム
ソース

1

最初の質問に対処するには、はい、値がわからない場合、観測値は独立していません。たとえば、値がかなり極端であることを確認しました。これは、自体の未知の値が極端であることを示している可能性があるため、他の観測値も極端であることを期待する必要があります。 $\theta$ $\tilde{y}_1$ $\theta$

— hr0nix
ソース