（相互作用）マルチモーダル後部用MCMC

MCMCを使用して、特に互いに離れている多くのモードを持つ事後からサンプリングしようとしています。ほとんどの場合、これらのモードの1つだけが私が探している95％のhpdを含んでいるようです。調整されたシミュレーションに基づいてソリューションを実装しようとしましたが、実際にはある「キャプチャ範囲」から別の「キャプチャ範囲」に移行するとコストがかかるため、満足のいく結果が得られません。

結果として、より効率的なソリューションは、さまざまな開始点から多くの単純なMCMCを実行し、MCMCを相互に作用させることによって主要なソリューションに飛び込むことだと私には思われます。そのようなアイデアを実装する適切な方法があるかどうかを知っていますか？

注：私が探しているものに近いように見える紙http://lccc.eecs.berkeley.edu/Papers/dmcmc_short.pdf（分散型マルコフチェーンモンテカルロ、ローレンスマレー）を見つけましたが、デザインが本当にわかりません関数。$R_i$

[編集]：回答の欠如は、私の最初の問題に対する明確な解決策がないことを示しているようです（異なる開始点からの同じターゲット分布からサンプリングする複数のMCMCが互いに相互作用します）。本当 ？なぜそんなに複雑なのですか？ありがとう

あなたが言及している論文からの「分散マルコフ連鎖モンテカルロ」は明確に述べられていないようなので、何よりも私はより良い方法、または少なくともより詳細な説明のある方法を探すことをお勧めします。長所と短所は十分に検討されていません。arxivに最近登場した「ワームホールハミルトニアンモンテカルロ」と呼ばれる方法があります。確認することをお勧めします。

$R_{i}(\theta_{i})$$i^{th}$

[更新：]いくつかのチェーン間の相互作用と事後分布からサンプリングするためのこのアイデアのアプリケーションは、並列MCMCメソッドで見つけることができます。たとえば、こちら。ただし、いくつかのチェーンを実行してそれらを強制的に相互作用させると、マルチモーダルな事後分布に適合しない可能性があります。たとえば、後部分布のほとんどが集中している非常に顕著な領域がある場合、チェーンの相互作用はその特定のものに固執することによって事態を悪化させることさえあります。地域であり、他のあまり目立たない地域/モードを探索していません。そのため、マルチモーダル問題用に特別に設計されたMCMCを探すことを強くお勧めします。そして、別の/新しいメソッドを作成したい場合は、「市場」で何が利用できるかがわかったら、より効率的なメソッドを作成できます。

multinestを試してください：https ://arxiv.org/pdf/0809.3437.pdf https://github.com/JohannesBuchner/MultiNest これは、マルチモーダル分布のパラメーターサンプルを提供するベイジアン推論エンジンです。

githubリンクには、指示に従ってコンパイルおよびインストールするマルチネストソースコードが含まれています。使いやすいpythonラッパーもあります。サンプルコードには、パラメータを制約するための前のセクションと、可能性を含む可能性セクションがあります。設定ファイルには、すべての設定が含まれており、フィッティング後のフォルダーフォルダーのネスト出力がチェーンされます。パラメータのサンプルが表示されます

これは、計算統計では困難で進行中の問題のようです。ただし、問題なく機能する最新の方法がいくつかあります。

あなたはすでに後方のいくつかの異なるモードを見つけており、これらが最も重要なモードであり、これらのモードの後方が合理的に正常である場合は満足しているとしましょう。次に、これらのモードでヘシアンを計算でき（たとえば、Rでhetsian = Tを使用してoptimを使用して）、正規分布（またはt分布）の混合として事後を近似できます。Gelmanらのp318-319を参照してください。（2003）詳細については、「ベイジアンデータ分析」。次に、正規サンプラー/ t混合近似を独立サンプラーの提案分布として使用して、事後全体からサンプルを取得できます。

私が試していないもう1つのアイデアは、アニーリングされた重要度サンプリングです（Radford Neal、1998年、ここにリンクします）。

マルチモダリティのための新しいMCMCメソッド、反発性のあるMetropolisアルゴリズム（http://arxiv.org/abs/1601.05633）を試してみませんか？このマルチモーダルサンプラーは、メトロポリスアルゴリズムのような単一のチューニングパラメーターで動作し、実装は簡単です。