限界尤度の堅牢なMCMC推定量？

9

私はモンテカルロ法によって統計モデルの限界尤度を計算しようとしています：

f (x) = \int f (x ∣ θ) π (θ) d θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

可能性は適切に動作します-滑らかで、対数の凹型-高次元です。重要性のサンプリングを試みましたが、結果は不安定で、使用している提案に大きく依存しています。ハミルトニアンモンテカルロをしていると考え、私の簡潔前制服を想定しにわたり事後サンプル計算すると私は見るまで、調和平均を取って、これを。学んだ教訓として、調和平均は無限の分散を持つことができます。ほぼ同じくらい簡単なMCMC推定器はありますか？ $\theta$

monte-carlo likelihood marginal

— デビッドプファウ
ソース

また、以前からの基本的なモンテカルロサンプリングを検討することもできます。

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— 確率論的

1

これが1つの解決策です。この場合、不適切な事前分布は許可されなくなりました。サポートが非常に広い事前分布は、おそらくモンテカルロ近似を困難にするでしょう。

— 禅

1

この問題に関する完全な本は、Chen、Shao and Ibrahim（2001）です。ネストされたサンプリング、ブリッジサンプリング、ディフェンシブサンプリング、パーティクルフィルター、サベージディッキーなどのキーワードを検索することもできます。

— 西安

8

どの程度アニール重点サンプリング？通常の重要度サンプリングよりも分散がはるかに小さくなります。「ゴールドスタンダード」と呼ばれるものを見たことがありますが、「通常の」重要度サンプリングよりも実装はそれほど難しくありません。各サンプルに対して一連のMCMC移動を行わなければならないという意味では、速度は遅くなりますが、各サンプルは非常に高品質になる傾向があるため、見積もりが落ち着くまでにそれらのサンプルをいくつも必要としません。

他の主要な代替案は、順次重要性サンプリングです。私の考えでは、実装もかなり簡単ですが、シーケンシャルモンテカルロ（別名パーティクルフィルタリング）にある程度の知識が必要です。

幸運を！

追加用に編集：リンク先のRadford Nealブログ投稿も、アニールされた重要度サンプリングを推奨しているようです。うまくいくかどうか教えてください。

— デビッドJ.ハリス
ソース

2

これは、限界分布の計算にいくつかの光を当てるのに役立ちます。また、FrielとPettittによって導入されたパワーポステリアによる方法を使用することをお勧めします。このアプローチは、いくつかの制限がありますが、非常に有望です。または、正規分布による事後分布のラプラス近似を使用することもできます。MCMCからのヒストグラムが対称で正規のように見える場合、これは非常に良い近似である可能性があります。

— トマス
ソース