ベータ分布には事前に共役がありますか？

34

ベータ分布は二項に共役であることを知っています。しかし、ベータの前の共役は何ですか？ありがとうございました。

beta-distribution conjugate-prior

25

あなたはすでに共役をあきらめたようです。記録のためだけに、私が人々がやっているのを見たことがあります（ただし、正確な場所を覚えていない、申し訳ありません）は、このような再パラメーター化です。が条件付きiidで、ように与えられた場合、およびしたがって、および観点から尤度を再パラメーター化し、事前確率として使用できます。 $X_1,\dots,X_n$ $\alpha,\beta$ $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$

E [{バツ}_{私} ∣ α 、 β] = \frac{α}{α + β} =： μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$

V a r [{バツ}_{私} ∣ α 、 β] = \frac{α β}{（ α + β ）^{2} （ α + β + 1 ）} =： σ^{2} 。

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$

μ

$\mu$

σ^{2}

$\sigma^2$

σ^{2} ∣ μ 〜 うん [0 、 μ （ 1 - μ ）] μ 〜 うん [0 、 1] 。

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ これで、事後を計算し、好みの計算方法で探索する準備ができました。

— 禅
ソース

4

いいえ、MCMCではありません。直角位相このこと！パラメータは2つだけです。時間と精度の両方について、直交は小さな次元の事後の「ゴールドスタンダード」です。

— 確率論的

3

別のオプションは、

を精度の尺度と見なし、再び

使用することです。

ψ = α + β

$\psi = \alpha + \beta$

平均としての

。これは、Dirichletプロセスで常に行われ、ベータ分布は特別なケースです。そのため、おそらく

ガンマまたは対数正規分布をトスし、

で均一にします。

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— 男

2

確かに、これは共役ではありません、正しいですか？

— 男

3

絶対にありません！

— 禅

こんにちは、@ Zen私は今この問題に取り組んでいますが、私はベイジアンに慣れていないので、アイディアを理解しているかどうかはわかりません。私は、あなたが見つけることを提案していることを考え出し

、その後reparametrizationを使用していますが、もちろん考えではありませんし、あなたが私を理解するための助けを喜ばせることができます。？

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— レッドノイズ

23

はい、それは指数関数族の前に共役を持っています。3つのパラメータ家族を検討一部の値について私はかなり私は信じている（考え出していないが、これは、積分されと-動作する必要がありそう独立指数分布に対応それは間違いなく機能し、共役更新には増分が含まれます

π （ α 、 β ∣ a 、 b 、 p ） \propto {\frac{Γ （ α + β ）}{Γ （ α ） Γ （ β ）}}^{p} \exp （ a α + b β ） 。

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

ので、

でも同様に機能します）

p

$p$

p > 0

$p > 0$

問題は、それが、ということである誰の使用理由の少なくとも一部すなわち、正規化定数には閉形式がありません。

\int_{0}^{\infty} \int_{0}^{\infty} {\frac{Γ （ α + β ）}{Γ （ α ） Γ （ β ）}}^{p} \exp （ a α + b β ） = ？

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$

— 男
ソース

あ。それは問題です。とにかく共役事前情報の有益ではないバージョンを探すつもりだったので、2つのパラメーターについて均一な事前情報から始めることもできそうです。ありがとう。

— ブラッシュ平衡

尤度を比較するだけなら正規化する必要はありません…

— ニールG

私はあなたがの作用不足しているかもしれないと思う

あなたの中

にも用語を。それはおそらくあるべき

など、

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

— ニール・G

@NeilG

である

あなただけの観点で物事を表現する必要があり、

の代わりに

。やっ

、それは何も変わらない、ただreparmetrizationです。「尤度を比較するだけ」の意味がわかりません。メトロポリスなどの条件付き共役の利点を無効にするものを使用せずに、この事前でギブスサンプラーを実装することはできません。正規化定数は

および

依存します。。

p

$p$

\exp

$\exp$

\log Γ (\dots)

$\log \Gamma(\cdots)$

Γ (\dots)

$\Gamma(\cdots)$

p a α

$pa\alpha$

a

$a$

b

$b$

— 男

2

@NeilG積分は、ランダム変数であるため、

と

超えています。

α

$\alpha$

β

$\beta$

— 男

9

で理論事前ベータ分布のためのコンジュゲートがあるはずです。それの訳は

ベータ分布は指数ファミリー分布の 1つであり、
理論的には、事前確率を導き出すことが可能であるべきです。たとえば、ウィキペディア、指数関数族に関するD Bleiの講義を参照してください。

しかし、導出は困難に見え、A Bouchard-Coteの指数関数的家族と共役事前分布を引用する

行うべき重要な観察は、このレシピが常に計算的に扱いやすい共役事前値を生成するとは限らないということです。

これと一致して、D FinkのA Compendium of Conjugate Priorsにはベータ分布の事前分布はありません。

— トーン
ソース

3

導出は難しいことではない-私の答えを参照してください：mathoverflow.net/questions/63496/...

— ニール・G

3

私は、ベータ分布の前に共役である「標準」（すなわち、指数族）分布があるとは思わない。ただし、存在する場合は、二変量分布である必要があります。

私はこの質問については考えているが、私はあなたの答えをサポートしているようだ、この便利な共役事前マップ見つけた：johndcook.com/conjugate_prior_diagram.html

— ジャスティンBozonier

共役事前分布は指数関数族であり、2つではなく3つのパラメーターを持ちます。

— ニールG

1

@ニール、あなたは間違いなく正しい。少なくとも2つのパラメーターが必要だと言っていたはずです。

-1：この答えはで示されているように、「共役前は、指数家族に存在しない」という主張に明確に間違っている答えは ...上記

— ヤンKukacka

3

Robert and Casella（RC）は彼らの本の例3.6（p 71-75）でベータ分布の共役事前分布のファミリーを説明しています。R、Springer、2010年のモンテカルロ法の紹介。しかし、彼らは引用せずに結果を引用しています。ソース。

詳細については、gungのリクエストに応じて追加されました。RCは、分布に対して、共役事前分布は「... $B(\alpha, \beta)$

π （ α 、 β ） \propto {\frac{Γ （ α + β ）}{Γ （ α ） Γ （ β ）}}^{λ} {バツ}_{0}^{α} y_{0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

ここで事後はに等しいので、ハイパーであります $\{\lambda, x_0, y_0\}$

π （ α 、 β | バツ ） \propto {\frac{Γ （ α + β ）}{Γ （ α ） Γ （ β ）}}^{λ} （ バツ {バツ}_{0} ）^{α} （ （ 1 - バツ ） y_{0} ）^{β} 。 」

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

以下からのサンプリングの例問題の重要性の余りの周辺尤度を計算するために、。 $\pi(\alpha,\beta \vert x)$ $x$

— user37239
ソース

2

私が利用可能ロバートの本を持っていませんが、事後です

。ロバートはまた、ここで、このトピックに掲載mathoverflow.net/questions/20399/...

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$

— フレッド・シェーン

1

Fred Schoenのコメント（簡単に確認できます）に従って、元のポスターが投稿を更新して、教科書に記載されている事後情報が間違っていることを示すことをお勧めします。

— RMurphy