ガウス尤度+どの事前=ガウス限界か？

8

サンプルについてガウス尤度を与え様とのパラメータ空間とされて、平均ベクトルと共分散行列の任意のパラメーター化。 $y$

p (y | θ) = N (y; μ (θ), Σ (θ))

$p(y|\theta) = \mathcal{N}(y;\mu(\theta),\Sigma(\theta))$

Θ

$\Theta$

μ (θ)

$\mu(\theta)$

Σ (θ)

$\Sigma(\theta)$

限界尤度なるように、事前密度と平均ベクトルおよび共分散行列パラメーター化を指定することは可能ですか？はガウス尤度ですか？ $p(\theta)$ $\mu(\theta)$ $\Sigma(\theta)$

p (y) = \int_{θ \in Θ} N (y; μ (θ), Σ (θ)) p (θ) d θ

$p(y)=\int_{\theta\in\Theta}N(y;\mu(\theta),\Sigma(\theta))p(\theta)d\theta$

共分散がわかっている自明な解、つまりを除外すると思います。ここで、は任意の固定共分散行列ですが、これは不可能です。 $\Sigma(\theta)=\Sigma$ $\Sigma$

特別な場合および、つまりは1次元であり、、ここでは、表示できる均一密度を示します： $\mu(\sigma^2)=\mu$ $\Sigma(\sigma^2)=\sigma^2$ $y$ $p(\sigma^2)=\mathcal{U}(\sigma^2;a,b)$ $\mathcal{U}(\sigma^2;a,b)$

\begin{aligned} p (y) & = \int_{0}^{\infty} N (y; μ, σ^{2}) U (σ^{2}; a, b) d σ^{2} \\ = \frac{1}{b - a} \underset{not a Gaussian density}{\underset{⏟}{\int_{a}^{b} N (y; μ, σ^{2})}} \end{aligned}

$\begin{align} p(y)&=\int_0^\infty \mathcal{N}(y;\mu,\sigma^2)\mathcal{U}(\sigma^2;a,b)d\sigma^2 \\ &= \frac{1}{b-a} \underbrace{\int_a^b \mathcal{N}(y;\mu,\sigma^2)}_\text{not a Gaussian density} \end{align}$

受け入れられた回答には、公式または非公式の証明またはそれへのポインタが含まれています。

— ジュリアン・カールス
ソース

2

あなたの推測は真実のようです：一定の分散のみが通常のマージンにつながることができます。私の証明は、期待値が既知である場合に限定されているため、ゼロと見なすことができます。一般的なケースでは、機能分析からのより洗練された議論が必要と思われます。 $\boldsymbol{\mu}$

問題は、法線の継続的な混合とベイズについてです。ここでは、法線の（連続的な）スケールの混合は、些細な混合に対してのみ正常である可能性があることがここで証明されました。

最初に、既知の平均と精度パラメーター次元法線の場合を考えます。一般性を失うことなく、パラメータは精度自体であると想定できます。の周辺分布が正規の場合、乗法定数までの正規密度です。偶関数であるこの密度は、いくつかのといくつかの定数の場合、の形式を取る必要があり。これはどのにも当てはまるので $\mu = 0$ $\omega := 1 / \Sigma >0$ $\boldsymbol{\theta}$ $\omega$ $y$ $\int \exp\{-y^2 \omega / 2\}\,\omega^{1/2} p(\omega)\,\text{d}\omega$ $y$ $c\exp\{ -y^2 \omega_0 / 2\}$ $\omega_0 >0$ $c >0$ $y$ 我々はで取得すべて、密度関数の有限測度は、でのディラックの質量に比例します。これは、これらの2つのメジャーが乗算定数まで同じラプラス変換を持つためです。したがって、はほぼ確実に（として）と等しくなります。 $s := y^2$

\int_{0}^{\infty} \exp {- s ω / 2} ω^{1 / 2} p (ω) d ω = c \exp {- s ω_{0} / 2}

$\int_0^\infty \exp\{-s \omega \,/ 2\}\,\omega^{1/2} p(\omega)\text{d}\omega = c \exp\{ -s \omega_0 \,/ 2\}$

s \geq 0

$s \geq 0$

ω \mapsto ω^{1 / 2} p (ω)

$\omega \mapsto \omega^{1/2} p(\omega)$

ω_{0}

$\omega_0$

ω

$\omega$

ω_{0}

$\omega_0$

この証明は、平均ゼロと精度行列次元の法線に拡張されます。その後、マージンは書きますここで、積分は正定対称セットあります行列。この積分は、同一である場合、次にとることによりスカラーおよび任意のベクトルの場合） $d$ $\boldsymbol{\Omega}:=\boldsymbol{\Sigma}^{-1}$ $\propto \int \exp\{-\mathbf{y}^\top \boldsymbol{\Omega}\,\mathbf{y} \,/ 2\}\, \left|\boldsymbol{\Omega}\right|^{1/2}p(\boldsymbol{\Omega})\,\text{d}\boldsymbol{\Omega}$ $\mathcal{P}$ $d \times d$ $c\exp\{ -\mathbf{y}^\top \boldsymbol{\Omega}_0 \mathbf{y} / 2\}$ $\mathbf{y}:= \sqrt{s} \,\boldsymbol{u}$ $s \geq 0$ $\mathbf{u}$ 、上記のようにはと等しくなければならないことがわかりますは、がと同じであることを示しています。証明は、密度ががルベーグメジャーゼロのサブセットに集中している場合でも機能します。ラプラス変換引数が引き続き適用されるためです。したがって、証明は、精度（または分散）行列の一般的なパラメーター化に対して機能します。 $\mathbf{u}^\top \boldsymbol{\Omega}\, \mathbf{u}$ $\mathbf{u}^\top \boldsymbol{\Omega}_0 \mathbf{u}$ $\boldsymbol{\Omega}$ $\boldsymbol{\Omega}_0$ $|\boldsymbol{\Omega}|^{1/2} p(\boldsymbol{\Omega})$ $\mathcal{P}$

— イヴ
ソース

私はあなたの証拠を完全に理解していません。Jacky1の回答と比較すると、比較的複雑に見えます。彼の証明についてどう思いますか？

— ジュリアンカール2016

さて、ジャッキーの答えで、事前分布がどのようにに依存できるか理解できませんでした。しかし、私が理解している彼の発言は間違っています-私は最初に同じエラーを実行しました:)実際、は必ずしも一定ではなく、分散が一定の場合、は正常であり、正方形を完成させることで簡単に確認できます。私は今、独立した以前のケース（簡単にするために1次元）の証拠を持っています。多分新しい答えとして、すぐに書き留めたいと思います。分散は定数でなければならず、は正常（おそらく退化）でなければなりません。

y

$y$

μ

$\mu$

μ

$\mu$

Σ

$\Sigma$

μ

$\mu$

— イヴ

あなたは「これは任意のために保持しているためで始まる段落にあなたの推論を展開することができとで終わる」（よう）に等しい？たぶん、あなたが使用している定理へのポインタと」

y

$y$

ω_{0}

$ω_0$

— ジュリアンKarls

1

仮定とアプリオリに独立しているとことを平均で通常の余裕があると分散。次に、分散が一定でなければならず、平均が通常の事前を持っている必要があることを証明します（おそらく退化しています）。 $\mu$ $\Sigma$ $y$ $\mu_0$ $\Sigma_0$ $\Sigma$ $\mu$

特性関数（cf）、つまりを使用して、簡単にするために1次元のケースに固執します。我々は知っていると同様の式の分布のために保持}を条件と仮定によって正常です。したがって、任意の実数そして、積分を再配置することにより、 $y$ $\phi_y(t) := \mathbb{E}[e^{yit}]$ $\phi_y(t) = \exp\{\mu_0 it - \Sigma_0 t^2 /2$ $y$ $\mu$ $\Sigma$ $t$

E [e^{y i t}] = \int E [e^{y i t} | μ, Σ] p (μ) p (Σ) d μ d Σ = \int \exp {μ i t - Σ t^{2} / 2} p (μ) p (Σ) d μ d Σ,

$\mathbb{E}[e^{yit}] = \int \mathbb{E}\left[e^{yit} \, \vert \,\mu,\,\Sigma\right]\, p(\mu) p(\Sigma) \,\text{d}\mu \text{d} \Sigma = \int \exp\left\{ \mu it - \Sigma t^2/2 \right\} \,p(\mu) p(\Sigma) \,\text{d}\mu \text{d}\Sigma,$

\exp {μ_{0} i t - Σ_{0} t^{2} / 2} = [\int \exp {μ i t} p (μ) d μ] [\int \exp {- Σ t^{2} / 2} p (Σ) d Σ] .

$\exp\left\{ \mu_0 it - \Sigma_0 t^2 /2 \right\} = \left[\int \exp\left\{ \mu it \right\} p(\mu) \,\text{d}\mu \right] \left[\int \exp\left\{ -\Sigma t^2/2\right\} p(\Sigma) \,\text{d}\Sigma \right].$ このような再配置に必要な仮定は簡単に確認できます。

右側の最初の積分、たとえばは cfです。なお、以降実数であることが判明した、我々が見るの配布ことである対称WRT、ひいてはその、予想通りだったかもしれません。 $\phi_1(t)$ $\mu$ $\phi_1(t) e^{-\mu_0 it}$ $\mu$ $\mu_0$ $\mathbb{E}[\mu] = \mu_0$

これで、右側の2番目の積分、たとえばもcfであることがわかります。これを確認するには、であることを確認する必要がありが連続であり、また、関数は正定（pd）です。最初の要件は明らかであり、2番目の要件は収束の支配によって証明されます。今PD要件に向ける：事前分布は、として書かれている場合ディラック質量であり、その後あるため、PDである次に、正規分布のCFです。事前がディラック質量の離散混合である場合、これは $\phi_2(t)$ $\phi_2(0) = 1$ $\phi_2$ $t=0$ $\phi_2$ $p(\Sigma)\text{d}\Sigma$ $\phi_2$ $\phi_2$ $\phi_2$ 次に、法線の混合のcfです。連続性の引数から、はpd であることがわかります $\phi_2$

今、私たちは、強力な使いましょうレヴィ・クラマーの定理告げるその両方の機能ための、形取る必要がありますと現実と。したがって、は平均値で正常（おそらく退化）でなければなりません。単純な代数によって、は任意の実数を保持します。非負の実際の書き込みは 2/2であるため、事前変換のラプラス変換は $\phi_j$ $j=1$ $2$ $\exp\{a_j i t - b_jt^2 /2 \}$ $a_j$ $b_j \geq 0$ $\mu$ $a_1 = \mu_0$

\exp {- (Σ_{0} - b_{1}) t^{2} / 2} = \int_{0}^{\infty} \exp {- Σ t^{2} / 2} p (Σ) d Σ

$\exp\{ -(\Sigma_0 - b_1) t^2 /2 \} = \int_0^\infty \exp\{ - \Sigma t^2 /2\} p(\Sigma) \, \text{d} \Sigma$

t

$t$

t^{2} / 2

$t^2/2$

Σ

$\Sigma$ にあるディラックの質量のそれと等しくなければなりません。

Σ_{0} - b_{1}

$\Sigma_0 - b_1$

— イヴ
ソース

お疲れ様でした。これを理解するには少し時間がかかります。

— ジュリアンカール、

0

証明の命題がありますが、確認する必要があります。

周辺尤度がガウスであると仮定します。

$p(y)=\mathcal{N}(y,m,\Gamma)$

次に、事前密度は次のように定義できます。

$p(\theta)=\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)$

ここで、はおよびをチェックしてます。（は）。 $f$ $\int_{\theta\in\Theta}f(\theta)d\theta =1$ $f(\theta)\geq 0$ $\theta\in\Theta$ $f(\theta)$ $p(\theta|y)$

密度であることが、前密度の積分で、言い換えれば1に等しくなければなりません $p(\theta)$ $\Theta$

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta =1$ です。

につながる

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta = \int_{\theta\in\Theta}f(\theta)d\theta$

この等式は、および場合にのみ真になります。 $\mu(\theta)=m$ $\Sigma(\theta)=\Gamma$

— ジャッキー1
ソース

2

私は証明のアイデアが好きです。私は最後のステップを除くすべてのステップが有効であることを確信しています。関数が同じであれば、2つの関数の積分は同じですが、これは必須条件ではありません。そこで別の定理を使用していますか？

— ジュリアンカール

あなたが交換した場合のためのあなたの最初の式におけるベイズ経由してそのdefintionと、それはなっ。確かに、この不平等から来るものは何もない。

p (θ | y)

$p(\theta|y)$

p (θ)

$p(\theta)$

p (θ) = p (θ)

$p(\theta)=p(\theta)$

— ジュリアンカール