事後分布の孤立した極大値を処理できるモンテカルロ/ MCMCサンプラーが実装されていますか？

私は現在、複数のODEで構成されるモデルのパラメーターを推定するためにベイジアンアプローチを使用しています。推定するパラメーターが15個あるので、私のサンプリング空間は15次元であり、事後分布を検索したところ、非常に低い確率の大きな領域によって非常に分離された多くの極大値があるようです。

1つのチェーンが1つの極大値から「ジャンプ」し、誤って他の最大値の1つにヒットすることはほとんどないため、これは私のモンテカルロチェーンの混合問題につながります。

この問題を扱った論文を見つけるのは簡単なので（下記参照）、この分野には多くの研究があるようですが、実際の実装を見つけるのは難しいです。私は分子動力学に関連するパッケージのみを見つけましたが、ベイジアン推論は見つけませんでした。（MC）MCサンプラーの実装で、孤立した極大値を処理できるものはありますか？

私のODEモデルが記述されているため、Matlabでの作業を余儀なくされています。Matlabに関する提案は大歓迎です;-)。ただし、他の言語の "キラーアプリ"がある場合は、PIを切り替えて;-)を説得できます。

私は現在、HaarioやLaineなどによって書かれた遅延拒絶/適応モンテカルロサンプラーを使用しています。、それは私がこれまでに見つけた唯一のサンプラーでもあり、標準のMetropolis-Hastingsアルゴリズムよりも洗練されています

注目すべきアプローチは次のようです。

EDIT 2017-Mar-07に更新しました

開始点が異なる複数の類似したチェーン

チェーン間の適応。複数の独立したチェーンによって生成されたプールされたサンプルの経験的共分散行列を使用して、チェーンの提案分布の共分散行列を更新します。（1）

焼戻しが異なる複数のチェーン

和らげる： ~~ある種の「温度」が後部の景観を変化させ、鎖の混合が起こりやすくなるようです。（これについてはまだあまり詳しくありません）（1）~~調整の目的は、事後確率分布によって形成される（高次元の）確率ランドスケープを平坦化することです。これは通常、事後確率を累乗にすることによって達成されます。ここで、事後ランドスケープは平坦化されます（3、p.298）。つまり、状態の事後確率を計算する代わりに、データが与えられると、調整された事後確率が計算されます。 $1/T$ $T>1$ $p(\theta\mid D)$ $\theta$ $D$

p (θ ∣ D)^{1 / T} \propto {(p (D ∣ θ) \cdot p (θ))}^{1 / T}

$p(\theta\mid D)^{1/T} \propto \left( p(D\mid\theta)\cdot p(\theta)\right)^{1/T}$

高いが選択されると、確率ランドスケープのフラットで幅広いピークになります。したがって、値が大きいほど、サンプラーが1つの極大値から別の極大値に切り替わる確率が高くなります。ただし、は、場合に検索される事後分布ではありません。したがって、その分布のサンプルのチェーンを使用して、後でからのサンプリングを有効にする必要があります。 $T$ $T$ $p(\theta\mid D)^{1/T}$ $T\neq1$ $p(\theta\mid D)$

その分布の調整されたバージョンからのサンプルが与えられた、元の、調整されていない事後分布からのサンプルは、いくつかの方法で取得できます。

メトロポリス結合MCMC複数のチェーンを同時に実行します。各チェーンは値は異なりますが一定です。2つのチェーンの状態を確率的に切り替えます。下流の推定にはチェーンからのサンプルのみを使用します。他のチェーンは、すべてのピークがサンプリングされることを確認するだけです。参照（4）並列アルゴリズムがあり、会議の記事とアイデアの教科書を引用している（5、6） $T$ $T=1$
スモールワールドMCMC。サンプラーは2つの提案を切り替えます。ほとんどの場合、分散が小さいプロポーザル分布が使用されますが、分散が大きいプロポーザルはめったに使用されません。これら2つの提案の間の選択は確率論的です。大きな差異のあるプロポーザルは、非常に大きなジャンプのみを行う別のチェーンから引き出すこともでき、サンプル空間を可能な限り大まかにサンプリングします。（2,7）

ハミルトニアンモンテカルロ（HMC）

それについてはあまり知りませんが、JAGSのNo-U-Turnサンプラー（NUTS）が使用しているようです。参照を参照してください。（8）。Alex Rogozhnikovがトピックに関するビジュアルチュートリアルを作成しました。

参照：

（1）Craiu et al。、2009：Learn From Thy Neighbor：Parallel-Chain and Regional Adaptive MCMC。 J Am Stat Assoc 104：488、pp。1454-1466。http://www.jstor.org/stable/40592353

（2）Guam et al。、2012：焼戻しを伴うスモールワールドMCMC：エルゴシティとスペクトルギャップ。https://arxiv.org/abs/1211.4675（のみarXivの上）

（3）：Brooks et al。（2011）。マルコフ連鎖モンテカルロのハンドブック。CRCプレス。

（4）：Altekar et al。（2004）：ベイズの系統学的推論のための並列メトロポリス結合マルコフ連鎖モンテカルロ。Bioinformatics 20（3）2004、pp。407–415、http: //dx.doi.org/10.1093/bioinformatics/btg427

（5）：Geyer CJ（1991）マルコフ連鎖モンテカルロ最大尤度。で：ケラミダス（編）、コンピューティング科学と統計：インターフェイスに関する第23回シンポジウムの議事録。Interface Foundation、Fairfax Station、pp。156–163。

（6）：Gilks WRおよびRoberts GO（1996）。MCMCを改善するための戦略。ギルクスWR、リチャードソンS、シュピーゲルハルター（編） マルコフチェーン、モンテカルロインプラクティス。Chapman＆Hall、p。89–114。

（7）：Guan Y、et al。小さな世界のマルコフ連鎖モンテカルロ。Statistics and Computing（2006）16（2）、pp。193-202。http://dx.doi.org/10.1007/s11222-006-6966-6

（8）：Hoffmann MおよびGelman A（2014）：No-U-Turnサンプラー：ハミルトニアンモンテカルロでパス長を適応的に設定。 Journal of Machine Learning Research、15、pp。1351-1381。https://arxiv.org/abs/1111.4246

— アクラフ
ソース

上記のどちらの戦略も、複数の最適化には特に適していません。

より良い選択は、Differential Evolution MCMCとDREAMなどの派生MCMCです。これらのアルゴリズムは、混合して提案を生成するいくつかのMCMCチェーンで機能します。各オプティマに少なくとも1つのチェーンがある場合、オプティマ間を効率的にジャンプできます。Rでの実装は、https：//cran.r-project.org/web/packages/BayesianTools/index.htmlから入手できます。

— フロリアン・ハーティグ
ソース