人々がベイジアン推論に使用する教科書MCMCアルゴリズムに比べてよく知られている改善点は何ですか？

ある問題のためにモンテカルロシミュレーションをコーディングしていて、モデルが十分に単純な場合、非常に基本的な教科書のギブスサンプリングを使用します。Gibbsサンプリングを使用できない場合は、数年前に学んだ教科書Metropolis-Hastingsをコーディングします。私がそれに与えた唯一の考えは、ジャンプ分布またはそのパラメーターを選択することです。

これらの教科書のオプションを改善する何百もの専門的な方法があることは知っていますが、通常、それらを使用/学習することは考えません。通常、すでに非常にうまく機能しているものを少し改善するのはあまりにも多くの努力のように感じます。

しかし、最近、私がやっていることを改善できる新しい一般的な方法がないかと考えていました。それらの方法が発見されてから数十年が経ちました。たぶん私は本当に時代遅れです！

メトロポリス・ヘイスティングスに代わる有名な代替品はありますか？

• 実装が合理的で、
• MHと同様に普遍的に適用可能、
• そして、何らかの意味でMHの結果を常に改善します（計算パフォーマンス、精度など）。

非常に特殊化されたモデルの非常に特殊化された改善については知っていますが、私が知らない一般的なものがありますか？

私はこれらの専門家ではありませんが、コミュニティが何を考えているかを見るために、とにかくそれらをそこに出すと思いました。訂正は大歓迎です。

実装がそれほど簡単ではない、ますます普及している方法の1つは、ハミルトニアンモンテカルロ（またはハイブリッドモンテカルロ）と呼ばれます。ラドフォード・ニールによるこの論文で説明されているように、ポテンシャルと運動エネルギーを含む物理モデルを使用して、パラメーター空間を転がるボールをシミュレートします。物理モデルはかなりの量の計算リソースを必要とするため、更新ははるかに少なくなる傾向がありますが、更新の相関は低くなる傾向があります。HMCは、統計モデリングのためのBUGSまたはJAGSのより効率的で柔軟な代替手段として開発されている新しいSTANソフトウェアの背後にあるエンジンです。

また、マルコフ連鎖を「加熱」することを含むメソッドのクラスター全体があります。これは、モデルに熱ノイズを導入し、低確率状態をサンプリングする機会を増やすと考えることができます。モデルを事後確率に比例してサンプリングする必要があるため、一見、これは悪い考えのように思えます。しかし、実際には、チェーンの混合を改善するために「ホット」状態のみを使用することになります。実際のサンプルは、チェーンが「通常の」温度にあるときにのみ収集されます。正しく実行すれば、加熱チェーンを使用して、モードからモードへの移行をブロックする可能性の低い大きな谷のために通常のチェーンが到達できないモードを見つけることができます。これらの方法のいくつかの例には、メトロポリス結合MCMCが含まれます。、並行焼戻し、および重要度サンプリングのアニール。

最後に、拒否率が非常に高く、これらの他の方法がすべて失敗する場合、逐次モンテカルロ法または粒子フィルタリングを使用できます。 私はこの一連のメソッドについてあまり知らないので、ここでの説明は間違っているかもしれませんが、私の理解では、このように機能するということです。拒否される可能性は本質的には1つですが、お気に入りのサンプラーを実行することから始めます。すべてのサンプルを拒否するのではなく、最も好ましくないものを選択し、そこから新しいサンプラーを初期化し、実際に受け入れられるサンプルが見つかるまでプロセスを繰り返します。次に、サンプラーをランダムな場所から初期化していないため、サンプルがランダムではないという事実に戻って修正します。

お役に立てれば。