新しいデータによるベイジアン更新

17

n個のデータポイントを観察した後、事前のN〜（a、b）で事後を計算するにはどうすればよいですか？データポイントのサンプル平均と分散を計算し、事後と事前を結合する何らかの計算を行う必要があると思いますが、結合式がどのように見えるかはよくわかりません。

bayesian normal-distribution conjugate-prior

— 学生
ソース

22

ベイジアン更新の基本的な考え方は、データと、対象のパラメーターに対する事前分布が与えられ、データとパラメーターの関係が尤度関数を使用して記述される場合、ベイズの定理を使用して事後を取得することです $X$ $\theta$

p (θ ∣ X) \propto p (X ∣ θ) p (θ)

$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$

これは、最初のデータポイントを見た後場合は、連続的に行うことができます前に更新となり、後方あなたは第二のデータポイント取ることができます隣に、及び使用を後部前に得られたあなたと前に再びなどそれを更新するために、 $x_1$ $\theta$ $\theta'$ $x_2$ $\theta'$

例を挙げましょう。あなたが平均を推定することを想像して正規分布とのあなたに知られています。そのような場合、normal-normalモデルを使用できます。私たちは、のために、通常の前に前提とハイパーと $\mu$ $\sigma^2$ $\mu$ $\mu_0,\sigma_0^2:$

\begin{aligned} X ∣ μ & \sim N o r m a l (μ, σ^{2}) \\ μ & \sim N o r m a l (μ_{0}, σ_{0}^{2}) \end{aligned}

$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$

正規分布であるため、前のコンジュゲートするためのの正規分布の、我々が前に更新するために閉形式解を有します $\mu$

\begin{aligned} E (μ^{'} ∣ x) & = \frac{σ^{2} μ + σ_{0}^{2} x}{σ^{2} + σ_{0}^{2}} \\ V a r (μ^{'} ∣ x) & = \frac{σ^{2} σ_{0}^{2}}{σ^{2} + σ_{0}^{2}} \end{aligned}

$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$

残念ながら、このような単純な閉形式のソリューションは、より高度な問題には利用できず、最適化アルゴリズム（最大事後アプローチを使用したポイント推定）またはMCMCシミュレーションに依存する必要があります。

以下にデータ例を示します：

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

結果をプロットすると、新しいデータが蓄積されるにつれて、事後値が推定値にどのように近づくかがわかります（真の値は赤い線でマークされています）。

詳細については、これらのスライドとケビンP.マーフィーによるガウス分布論文の共役ベイズ分析を確認できます。また、サンプルサイズが大きい場合、ベイジアン事前分布は無関係になりますか？また、これらのメモとこのブログエントリを確認して、ベイジアン推論へのアクセス可能な段階的な紹介を確認することもできます。

— ティム
ソース

ありがとう、これはとても助かります。この単純な例（あなたの例とは異なり、未知の分散）をどのように解決しますか？N〜（5、4）の事前分布があり、5つのデータポイント（8、9、10、8、7）を観測するとします。これらの観察の後、後部は何でしょうか？前もって感謝します。大変感謝いたします。

— statstudent

@Kellyの場合、分散のいずれかが不明で既知の意味を持つ場合、または両方が共役事前分布と回答の最後に提供したリンクに関するWikipediaエントリで不明な場合の例を見つけることができます。平均と分散の両方が不明な場合、それはわずかに複雑になります。

— ティム

@Kellyところで、あなたは確認することができ、ここで、両方の推定の例については、

と

。

μ

$\mu$

σ^{2}

$\sigma^2$

— ティム

4

あなたが前に持っている場合はと尤度関数あなたが後方に計算することができます。 $P(\theta)$ $P(x \mid \theta)$

P (θ ∣ x) = \frac{\sum_{θ} P (x ∣ θ) P (θ)}{P (x)}

$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$

以来一つに確率の合計を作るためだけの正規化定数であり、あなたが書くことができます： $P(x)$

P (θ ∣ x) \sim \sum_{θ} P (x ∣ θ) P (θ)

$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$

ここでは「に比例」を意味します。 $\sim$

共役事前分布の場合（よく閉じた形式の式が得られる場合）

共役事前分布に関するこのウィキペディアの記事は参考になるかもしれません。してみましょうあなたのパラメータのベクトルです。してみましょうあなたのパラメータを超える前にです。レッツ尤度関数、パラメータが与えられたデータの確率があること。以前ならば前には、尤度関数の共役前にあると後部同じ家族（。例えば、両方のガウス）です。 $\boldsymbol{\theta}$ $P(\boldsymbol{\theta})$ $P(\mathbf{x} \mid \boldsymbol{\theta})$ $P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$

共役分布の表は、いくつかの直観を構築するのに役立ちます（また、自分自身で作業するためのいくつかの有益な例を示します）。

— マシュー・ガン
ソース

1

これは、ベイジアンデータ分析の中心的な計算の問題です。それは本当に関係するデータと分布に依存します。すべてが閉じた形式で表現できる単純な場合（共役事前分布など）、ベイズの定理を直接使用できます。より複雑なケースで最も人気のある技術ファミリは、マルコフ連鎖モンテカルロ法です。詳細については、ベイジアンデータ分析の入門書をご覧ください。

— コディオロジスト
ソース

どうもありがとうございます！これが本当に愚かなフォローアップの質問であれば申し訳ありませんが、あなたが言及した単純なケースでは、ベイズの定理を直接どのように正確に使用しますか？サンプル平均とデータポイントの分散によって作成された分布は、尤度関数になりますか？どうもありがとうございました。

— statstudent

@Kelly繰り返しますが、それはディストリビューションに依存します。例えばen.wikipedia.org/wiki/Conjugate_prior#Exampleを参照してください。（質問に答えた場合は、投票矢印の下にあるチェックマークをクリックして答えを受け入れることを忘れないでください。）

— Kodiologist