Wishart-Wishart事後のパラメーターは何ですか？

精密マトリックスinfering場合 $\boldsymbol{\Lambda}$ 生成するために使用される正規分布の $N$ D次元のベクトル $\mathbf{x_1},..,\mathbf{x_N}$

\begin{aligned} x_{i} & \sim N (μ, Λ^{- 1}) \end{aligned}

$\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align}$ 私たちは通常、前上ウィシャートを置く

Λ

$\boldsymbol{\Lambda}$ ウィッシャート分布が知られている平均と未知の分散を持つ多変量正規分布のprecissionのためのコンジュゲート前であることから：

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$ ここである自由度とスケール行列が。モデルに堅牢性と柔軟性を追加するために、ウィシャートのパラメーターよりも優先度を高くしました。たとえば、GörürとRasmussenは次の提案しています： where

υ

$\upsilon$

Λ_{0}

$\boldsymbol{\Lambda_0}$

\begin{aligned} Λ_{0} & \sim W (D, \frac{1}{D} Λ_{x}) \\ \frac{1}{υ - D + 1} & \sim G (1, \frac{1}{D}) \end{aligned}

$\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \frac{1}{\upsilon-D + 1} &\sim \mathcal{G}(1, \frac{1}{D}) \\ \end{align}$

G

$\mathcal{G}$ はガンマ分布です。

質問：

後部をサンプリングするため $\boldsymbol{\Lambda_0}$

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x}) \end{aligned}

$\begin{align} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \end{align}$

この事後の家族とパラメーターは何ですか？

PS：

依存しないすべての要因を、Wehsartのパラメーターでパラメーターを特定します：パラメーター付きのWishartを取得します： $\boldsymbol{\Lambda_0}$

\begin{aligned} υ^{'} & = υ + D \\ Λ^{'} & = Λ + Λ_{x} \end{aligned}

$\begin{align} \upsilon' &= \upsilon + D\\ \boldsymbol{\Lambda'} &= \boldsymbol{\Lambda} + \boldsymbol{\Lambda_x} \end{align}$

これはかなり良いように見えますが、本にもインターネットにも例が見つからないため、まったく自信がありません。

正誤表：

GörurとRasmussenは、Wishartパラメーターよりもこれらの超優先順位を提案していますが、次の式：

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$

代わりに：

\begin{aligned} Λ & \sim W (υ, Λ_{0}^{- 1}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}^{-1}) \\ \end{align}$

したがって、共役の欠如を解決します。を保持する場合は、事前に逆ウィシャートを使用する必要があります（@ Xi'anの回答を参照） $\boldsymbol{\Lambda_0}$

— アルベルト
ソース

回答:

中の2つの濃度の積

p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x})

$p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\$ つながる

標準密度ではないようです。ある種の共役性を保つために、上の右の階層事前

のようなものでなければなりません

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) & \propto | Λ_{0} |^{- υ / 2} \exp {- tr (Λ_{0}^{- 1} Λ) / 2} \\ \times | Λ_{0} |^{(D - p - 1) / 2} \exp {- D tr (Λ_{x}^{- 1} Λ_{0}) / 2} \\ \propto | Λ_{0} |^{(D - υ - p - 1) / 2} \exp {- t r (Λ_{0}^{- 1} Λ + D Λ_{x}^{- 1} Λ_{0}) / 2}, \end{aligned}

$\begin{align*} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) &\propto |\boldsymbol{\Lambda_0}|^{-\upsilon/2}\,\exp\{-\text{tr}(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda})/2\}\\ &\times |\boldsymbol{\Lambda_0}|^{(D-p-1)/2}\,\exp\{-D\,\text{tr}(\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\\ &\propto|\boldsymbol{\Lambda_0}|^{(D-\upsilon-p-1)/2}\,\exp\{-tr(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda}+D\,\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\,, \end{align*}$

Λ_{0}

$\boldsymbol{\Lambda_0}$

Λ_{0} \sim I W (Λ_{0} | D, \frac{1}{D} Λ_{x}) .

$\boldsymbol{\Lambda_0}\sim\mathcal{IW}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x})\,.$

— 西安
ソース

Λ_{0}^{- 1}

$\mathbf{\Lambda_0^{-1}}$

\begin{aligned} W (W | υ, S^{- 1}) \times W (S | υ_{0}, S_{0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

S^{- 1}

$\mathbf{S^{-1}}$

S

$\mathbf{S}$

\begin{aligned} W (W | υ, S) \times I W (S | υ_{0}, S_{0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S} ) \times \mathcal{IW}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

\begin{aligned} W (W | υ, S^{- 1}) \times W (S | υ_{0}, S_{0}) & \propto | S |^{υ / 2} \exp {- \frac{1}{2} t r (S W)} \\ \times | S |^{\frac{υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r (S_{0}^{- 1} S)} \\ \propto | S |^{\frac{υ + υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r ((W + S_{0}^{- 1}) S)} \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) &\propto |\mathbf{S}|^{\upsilon/2} \exp\{-\frac{1}{2} tr(\mathbf{SW}) \}\\ &\times |\mathbf{S}|^{\frac{\upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr (\mathbf{S_0^{-1} S})\}\\ &\propto |\mathbf{S}|^{\frac{\upsilon + \upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr ( (\mathbf{W} + \mathbf{S_0^{-1}) S})\} \end{align}$

$tr({\mathbf{SW}}) = tr({\mathbf{WS}})$

\begin{aligned} p (S | \cdot) = W (υ + υ_{0}, (W + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(\upsilon+ \upsilon_0, \mathbf{(W+S_0^{-1})^{-1}}) \end{align}$

$N$ $\mathbf{W_1...W_N}$ ：

$N$ $N$

\begin{aligned} p (S | \cdot) = W (N υ + υ_{0}, (\sum_{i = 1}^{N} W_{i} + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(N \upsilon+ \upsilon_0, (\sum_{i=1}^N \mathbf{W_i+S_0^{-1})^{-1}}) \end{align}$

— アルベルト
ソース