誰でも共役事前確率を可能な限り簡単な用語で説明できますか？

23

私はしばらくベイズ統計の共役事前分布の概念を理解しようと試みてきましたが、私はそれを理解していません。おそらく「ガウス事前分布」を例として使用して、誰でも考えを最も簡単な用語で説明できますか？

bayesian conditional-probability conjugate-prior

23

パラメーターの事前確率は、ほとんどの場合、特定の機能形式（通常、密度の観点から記述）を持ちます。分布の特定のファミリーに限定するとします。この場合、事前分布を選択すると、そのファミリーのパラメーターを選択することになります。

例えば、通常のモデルを検討 $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ 。簡単にするために、のも見てみましょう $\sigma^2$ 知られているように。モデルのこの部分-データのモデル-尤度関数を決定します。

ベイジアンモデルを完成させるには、ここで事前分布が必要 $\mu$ です。

上記のように、通常、事前分布に分布族を指定し、その分布のパラメーターを選択するだけです（たとえば、多くの場合、事前情報はかなり曖昧な場合があります-ほぼ確率を集中させたい場合-非常に具体的な機能形式ではなく、パラメータを選択することで必要なものをモデル化するのに十分な自由がある場合があります-以前の平均と分散に一致するように言います）。 $\mu$

の事後が事前と同じファミリーのものであることが判明した場合、その事前分布は「共役」と呼ばれます。 $\mu$

（共役になることが判明するのは、尤度と組み合わせる方法です）

したがって、この場合には、のためにガウス前にみましょう（言う）。そうすると、の事後分布もガウス分布になることがわかります。したがって、ガウス事前分布は、上記のモデルの共役事前分布でした。 $\mu$ $\mu\sim N(\theta,\tau^2)$ $\mu$

それだけです-事後が事前と同じファミリーからのものである場合、それは共役事前です。

単純なケースでは、尤度を調べることで事前に共役を特定できます。たとえば、二項尤度を考えます。定数を削除すると、ベータ密度のように見えます。および方法のための力のとコンバイン、それはまたのべき乗の積与える前に乗算ベータによって意志と我々は可能性から、すぐに見ることができるように...ベータは、二項尤度の事前共役です。 $p$ $p$ $(1-p)$ $p$ $(1-p)$ $p$

ガウスの場合、対数密度と対数尤度を考慮することで発生することを確認するのが最も簡単です。対数尤度はの2次であり、2つの2次の合計は2次です。そのため、2次の対数優先+ 2次の対数尤度は2次の事後を与えます（もちろん、最高次項の係数はそれぞれ負になります）。 $\mu$

— Glen_b -Reinstate Monica
ソース

9

モデルは、に属している場合、指数ファミリー分布の密度がフォームである場合、であり、

f (x | θ) = h (x) \exp {T (θ) \cdot S (x) - ψ (θ)} x \in X θ \in Θ

$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$ に対して所定の支配的尺度、（ルベーグ、カウント、およびTC）

t \cdot s

$t\cdot s$ 上意味A内積

R^{d}

$\mathbb{R}^d$ と

T : X ⟶ R^{d} S : Θ ⟶ R^{d}

$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$ 測定関数である、上の共役事前確率

θ

$\theta$ フォームの密度によって定義される

π (θ | ξ, λ) = C (ξ, λ) \exp {T (θ) \cdot ξ - λ ψ (θ)}

$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$ [に対して任意に選択された支配的な尺度

d ν

$\text{d}\nu$ に

Θ

$\Theta$ を有する]

C (ξ, λ)^{- 1} = \int_{Θ} \exp {T (θ) \cdot ξ - λ ψ (θ)} d ν < \infty

$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$ および

λ \in Λ \subset R_{+}

$\lambda\in\Lambda\subset\mathbb{R}_+$ 、

ξ \in Ξ \subset λ T (X)

$\xi\in\Xi\subset \lambda T(\mathcal{X})$

優越尺度の選択は、事前分布のファミリーにとって決定的です。例えば1は上の通常の平均可能性直面している場合は $\mu$ のようにGlen_bの答え、ルベーグ測度の選択 $\text{d}\mu$ 通常の事前確率が共役であることに支配的な対策のリード線などを。代わりに、1つを選択した場合 $(1+\mu^2)^{-2}\text{d}\mu$ 支配的な尺度としては、共役事前確率は密度の分布のファミリー内にある

\exp {- α (μ - μ_{0})^{2}} α > 0, μ_{0} \in R

$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$ この支配措置に関しては、もはやので、通常の事前確率です。この困難は、尤度の特定のパラメーター化を選択し、このパラメーター化のためにルベーグ測度を選択することと本質的に同じです。尤度関数に直面した場合、パラメータ空間には固有の（または固有の、または参照の）支配的な尺度はありません。

この指数ファミリー設定の外には、共役事前確率を可能にする固定サポートを持つ分布の非自明なファミリーはありません。これはDarmois-Pitman-Koopmanの補題の結果です。

— 西安
ソース

11

「可能な限り簡単な言葉で？」おそらく、対策の事前知識を前提としない説明がOPにとってより役立つでしょう。

3

残念ながら、共役の事前確率はメジャーバックグラウンドなしでは無意味であると思います（たとえこれが宇宙で最もよく守られているとしても）。

— 西安

6

私の意見では、「最も簡単な用語」は解釈に開放されており、メジャー理論などの高度な数学を使用する説明は、ある意味で「単純」である可能性があります。いずれにせよ、そのような説明は、それを理解するのに必要な背景を持っている人にとって非常に啓発的であり、トピックを説明するさまざまな方法のリストにこのような答えを含めることは無害です。私たちはOPのためだけでなく、将来のすべての読者のために答えを書きます。

— littleO

1

@LBogaardtこの回答がトピックとより適切なレベルの両方であると思われる1つ以上の質問にリンクできる場合、あなたの批判はより重要になります。「シンプル」は明確に定義された用語ではなく、主観的な解釈が異なることに留意してください。とにかく、あなたのコメントが示唆するように、「数学的に洗練されていない」と混同することは無効です。

— whuber

2

西安の答えは役に立たない。私は何かを学びました。

— ほとんど

2

ディストリビューションの「カーネル」という概念を使用するのが好きです。これは、パラメータに依存する部分のみを残す場所です。いくつかの簡単な例。

通常カーネル

p (μ | a, b) = K^{- 1} \times \exp (a μ^{2} + b μ)

$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$

K

$K$ "正規化定数"であり、

K = \int \exp (a μ^{2} + b μ) d μ = \sqrt{\frac{π}{- a}} \exp (- \frac{b^{2}}{4 a})

$K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ 標準の平均/分散パラメーターとの関係は

E (μ | a, b) = - \frac{b}{2 a}

$E(\mu|a,b)=-\frac{b}{2a}$ および

V a r (μ | a, b) = - \frac{1}{2 a}

$Var(\mu|a,b)=-\frac{1}{2a}$

ベータカーネル

p (θ | a, b) = K^{- 1} \times θ^{a} (1 - θ)^{b}

$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$ ここで、

K = \int θ^{a} (1 - θ)^{b} d θ = B e t a (a + 1, b + 1)

$K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

尤度関数を見ると、同じことができ、それを「カーネル形式」で表現できます。たとえば、iidデータ

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = Q \times f (μ)

$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$

いくつかの定数 $Q$ といくつかの関数 $f(\mu)$ 。この関数をカーネルとして認識できれば、その尤度の前に共役を作成できます。単位分散で正規尤度をとると、上記は

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = [\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}}] \times \prod_{i = 1}^{n} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2} - 2 x_{i} μ + μ^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2}}{2}) \times \exp (μ \sum_{i = 1}^{n} x_{i} - μ^{2} \frac{n}{2}) = Q \times \exp (a μ^{2} + b μ)

$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$ , so a conjugate prior for this likelihood is also the normal distribution.

p (μ | a_{0}, b_{0}) = K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ)

$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$ The posterior is then

p (μ | D, a_{0}, b_{0}) \propto K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ) \times Q \times \exp (a μ^{2} + b μ) = K_{0}^{- 1} \times Q \times \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ) \propto \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ)

$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

— probabilityislogic
ソース

1

(+1) I appreciate the pseudo-data intuition!

— Xi'an

1

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$

— Thomas G.
ソース

How does this explain what a conjugate prior is?

— LBogaardt

ok I'll edit that.

— Thomas G.