準共役および条件付き共役事前分布の定義は何ですか？

準共役事前分布と条件付き共役事前分布の定義は何ですか？ゲルマンのベイジアンデータ分析でそれらを見つけましたが、それらの定義を見つけることができませんでした。

ベイジアンデータ分析（第3版）の定義を使用すると、がサンプリング分布のクラスであり、が事前分布のクラスである場合、クラスは、共役です P （Y | θ ）P θ P $\mathcal{F}$$p(y|\theta)$$\mathcal{P}$$\theta$$\mathcal{P}$$\mathcal{F}$

$$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$$

場合$\mathcal{F}$分布サンプリングのクラスであり、$p(y|\theta,\phi)$、そして$\mathcal{P}$のために事前分布のクラスである$\theta$を条件$\phi$、クラス$\mathcal{P}$の条件付き共役である$\mathcal{F}$場合

$$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$$

条件付き共役事前分布は、完全な条件付きが既知のファミリーになるため、ギブスサンプラーの構築に便利です。

ベイジアンデータ分析（第3版）の電子版を検索したところ、以前の準共役への参照が見つかりませんでした。それは条件付き共役と同義であると思いますが、本での使用への参照を提供すれば、私は定義を提供できるはずです。

例として、多変量法線を使用したいと思います。

可能性は

$$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$$

この可能性より前に見つけるために、

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

今のについて心配しないでください。これらは単に事前分布のパラメータです。$\mu_0,\Lambda_0,\nu_0,S_0$

しかし、重要なことは、これが可能性と共役ではないということです。その理由を知るために、オンラインで見つけた参考文献を引用したいと思います。

とは、可能性において分解されていない方法で一緒に現れることに注意してください。したがって、それらは後部でも一緒に結合されます$\mu$$\Sigma$

参照は、ケビンP.マーフィーによる「機械学習：確率論的展望」です。こちらがリンクです。135ページの上部のセクション4.6（MVNのパラメーターの推定）に引用があります。

見積もりを続けるには

上記の事前条件は、と両方が個別に共役であるため、セミ共役または条件付き共役と呼ばれることがあります。完全共役事前分布を作成するには、とが互いに依存している事前分布を使用する必要があります。フォームの共同配布を使用しますP （Σ | μ ）μ $p(\mu|\Sigma)$$p(\Sigma|\mu)$$\mu$$\Sigma$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

ここでの考え方は、最初の事前配布が

$$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$$

とが分離可能（またはある意味で独立）であると想定します。それにもかかわらず、尤度関数では、とを別々に因数分解できないことを観察します。これは、事後（Recall、分離できないことを意味し）。これは、最初の「分離不能」後部と「分離可能」前は共役ではないことを示しています。一方、書き直すことでΣ μ Σ （後方）〜（前）（見込み$\mu$$\Sigma$$\mu$$\Sigma$$(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

$$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$$

ようにと（を介して相互に依存して）、あなたはと命名され、共役前に取得されます半共役前に。これはうまくいけばあなたの質問に答えます。Σ P （μ | Σ $\mu$$\Sigma$$p(\mu|\Sigma)$

ps：私が使用したもう1つの本当に役立つ参照は、ピーターD.ホフによる「ベイズ統計手法の最初のコース」です。これは本へのリンクです。105ページから始まるセクション7で関連するコンテンツを見つけることができます。彼はセクション5で67ページから始まる単変量正規分布について非常に良い説明（および直感）を持っています。 MVN。

$F$P θ P FのP （θ | Y 、φ）∈ P P （⋅ | θ、φ）∈ FのP （θ、φ）= P （θ）× P （φ）P （θ）∈ P P （φ）$p(y|θ,ϕ)$$P$$θ$$P$$F$$p(θ|y,ϕ)∈P$$p(⋅|θ,ϕ)∈F$$p(θ,ϕ)=p(θ)\times p(ϕ)$$p(θ)∈P$$p(ϕ)$$P$