共分散行列の提案の分布

8

階層モデルのMCMC実装では、通常の変量効果と共分散行列の前にWishartがあり、通常、ギブスサンプリングが使用されます。

ただし、変量効果の分布を（たとえば、Student's-tまたは別のものに）変更すると、共役性は失われます。この場合、Metropolis-Hastingsアルゴリズムでの変量効果の共分散行列の適切な（つまり、簡単に調整可能な）提案分布は何でしょうか。また、目標許容率は0.234でしょうか。

すべてのポインタを事前に感謝します。

mcmc hierarchical-bayesian metropolis-hastings

— とかストール
ソース

16

さて、もしあなたが「ポインターのために」探しているなら...

（スケーリングされた）（逆）ウィシャート分布は、多変量尤度関数と共役であり、したがってギブスサンプリングを簡略化するため、よく使用されます。

でスタンハミルトニアンモンテカルロサンプリングを使用し、多変量の事前確率のための制限はありません。推奨されるアプローチは、Barnard、McCulloch、Mengによって提案された分離戦略です。ここで、はstdのベクトルですdevsとは相関行列です。

Σ = diag_matrix (σ) Ω diag_matrix (σ)

$\Sigma=\text{diag_matrix}(\sigma)\;\Omega\;\text{diag_matrix}(\sigma)$

σ

$\sigma$

Ω

$\Omega$

のコンポーネントには、妥当な事前の値を与えることができます。以下のよう、推奨される前である "LKJ"手段Lewandowskiの、Kurowickaとジョー。増加、前ますます単位相関行列の周りに集中し、で LKJ相関分布は、相関行列上同一分布に低減します。したがって、LKJ事前値を使用して、パラメータ間の予想される相関量を制御できます。 $\sigma$ $\Omega$

Ω \sim LKJcorr (ν)

$\Omega\sim\text{LKJcorr}(\nu)$

ν

$\nu$

ν = 1

$\nu=1$

しかし、私は（まだ）変量効果の非正規分布を試したことがないので、要点を逃していないことを願っています;-)

— セルジオ
ソース

この答えは、事前について話します。OPは提案について尋ねます...これらの事前は何らかの方法で受け入れ率に役立ちますか？

— 海の老人。

@Sycorax OPが尋ねた提案はどうですか？彼は何を使用し、どのパラメーターを使用する必要がありますか？

— 海の老人。

1

私は個人的にウィシャートの提案を使用しています。例えば、私が提案したい場合は周り、私が使用：で1000のように、多数あるがそのトリックは、あなたが取得します、あなたはと分散を調整することができます。私が間違っていない場合、行列の提案の比率は閉じた形式です： $\Sigma^*$ $\Sigma$

Σ^{*} \sim W (Σ / a, a),

$\Sigma^* \sim \mathcal{W}(\Sigma/a,a),$

a

$a$

E [Σ^{*}] = Σ

$E[\Sigma^*]=\Sigma$

a

$a$

(p \times p)

$(p\times p)$

\frac{q (Σ \to Σ^{*})}{q (Σ^{*} \to Σ)} = {(\frac{| Σ^{*} |}{| Σ |})}^{a - (p - 1) / 2} \cdot e^{[t r ({Σ^{*}}^{- 1} Σ) - t r (Σ^{- 1} Σ^{*})] \cdot a / 2}

$\frac{q(\Sigma\to\Sigma^*)}{q(\Sigma^*\to\Sigma)} = \left(\frac{|\Sigma^*|}{|\Sigma|}\right)^{a-(p-1)/2} \cdot e^{[tr({\Sigma^*}^{-1}\Sigma)-tr({\Sigma}^{-1}\Sigma^*)] \cdot a/2}$

— レミダブ
ソース

0

非ガウス分布を使用すると、モデルの共役性が失われることはよく知られています。以下を参照してください。

http://www.utstat.toronto.edu/wordpress/WSFiles/technicalreports/0610.pdf

次に、ギブスサンプリング内のメトロポリスやその適応バージョンなど、他のMCMCメソッドを使用する必要があります。幸い、そうするためのRパッケージがあります。

http://cran.r-project.org/web/packages/spBayes/index.html

推奨される受け入れ率は0.44ですが、0.234の場合と同様に、この数値の背後にはいくつかの仮定があります。

あなたはTHE Dimitris Rizopoulosですか？

— テコ
ソース

@DimitrisRizopoulos私が言及したアダプティブメトロポリスウィズギブスは、提案した分布としてガウス分布の有限混合を使用しています（私が投稿したテクニカルレポートに記載されています）。筋金入りのメトロポリスを使用している場合、「100万ドルの質問」への回答を求めています。この質問には、一般的な解決策はありません。通常は、さまざまな提案や受け入れ率を試す必要があります。ちなみに、とても良い本です。

— Teco 2013年

0

log-posteriorを適切に定義すれば、あらゆる提案を使用できます。あなたはそれを実装してあなたの事後のサポートを適切に定義するためにいくつかのトリックを使う必要があるだけです：

Metropolis-Hastings MCMCアルゴリズムを適用する事後分布のサポートを見つける方法は？

ガウスの提案が切り捨てられた事後者に使用できる例はたくさんあります。これは単なる実装トリックです。繰り返しになりますが、一般的な解決策がない質問をしています。一部の提案では、同じモデルと異なるデータセットに対して異なるパフォーマンスを持っています。

幸運を。

— メス
ソース

まあ、共分散行列は正定である必要があることを考慮すると、どんな提案分布を使用することも私にはそれほど論理的ではないようです。提案された行列は正定である必要があります。1つのオプションは、提案としてギブスサンプリングで使用されるウィシャート事後条件を使用することですが、ランダム効果の学生のtを想定した場合、これは特にうまく機能しないようでした。したがって、私の質問ですが、共分散行列の他のタイプの提案はありますか？

— トカストール2013年