Metropolis Hastings、Gibbs、Importance、およびRejectionサンプリングの違いは何ですか？

私はMCMCの方法を学ぼうとしており、Metropolis Hastings、Gibbs、Importance、およびRejectionのサンプリングに出会いました。これらの違いの一部は明らかです。つまり、完全な条件式がある場合にGibbsがMetropolis Hastingsの特殊なケースであるのに対し、その他はGibbsサンプラー内でMHを使用する場合など、それほど明白ではありません。これらのそれぞれの違いの大部分を見る簡単な方法は？ありがとう！

ジョージ・キャセラ、と私たちの本の中で詳述されているように、モンテカルロ統計的方法、これらの方法は密度で、与えられた分布からサンプルを生成するために使用されているのいずれか、たとえば、この分布についてのアイデアを得るために、またはに関連統合や最適化問題を解決するために。たとえば、の値を見つけるには、またはこの分布の分位数の場合の分布のモード。F ∫ X H （X ）F （X ）D $f$$f$ H （X ）X 〜F （X

$$\int_{\mathcal{X}} h(x) f(x)\text{d}x\qquad h(\mathcal{X})\subset \mathbb{R}$$ $h(X)$$X\sim f(x)$

モンテカルロ法とマルコフ法を比較するために、関連する基準で言及したモンテカルロ法では、問題の背景とシミュレーション実験の目標を設定する必要があります。それぞれの長所と短所はケースによって異なるためです。

以下は、問題の複雑さをほとんどカバーしていない一般的なコメントです。

1. Accept-Rejectメソッドは、からiidサンプルを提供することを目的としています。これを実現するために、一様変量乱数を入力として受け取り、からの実現である値を返すアルゴリズムを設計します。長所は、この方法には近似値がないことである：結果は本当にからIIDサンプルである。短所は、多くの：（i）のエンベロープ見つけることによってアルゴリズムを設計人間の時間で非常に高価であり得る生成することができます。（ii）アルゴリズムは計算時間の効率が悪い場合があります。つまり、単一のを生成するために多くのユニフォームが必要です。u 1、u 2、… x f f f x X $f$$u_1,u_2,\ldots$$x$$f$$f$$f$$x$; （iii）これらのパフォーマンスはの次元とともに減少しています。要するに、Rのようなコンピューター言語で既に利用可能でない限り、そのような方法はからの1つまたはいくつかのシミュレーションのシミュレーションには使用できません。$X$$f$
2. マルコフ連鎖モンテカルロ（MCMC）メソッドは、iidシミュレーションのコストが高すぎる場合のiidシミュレーションメソッドの拡張機能です。それらは、シミュレーションのシーケンスを生成します。これは、分布を制限する分布です。長所は、約（I）より少ない情報であること方法を実装するために必要とされます。（ii）の唯一の正規化定数まで知られていてもよい、あるいは一体型として及びそれでもMCMCメソッドに関連付けられます。（iii）シミュレーションを生成する汎用MCMCアルゴリズムが存在します、F 、F 、F 、F （X ）α ∫ Z 〜F（X 、Z ）のD Z （X T ）T（X T ）T X T T F F $(x_t)_t$$f$$f$$f$ $$f(x)\propto\int_{\mathcal{Z}} \tilde{f}(x,z)\text{d}z$$ $(x_t)_t$キャリブレーションはほとんど必要ありません。（iv）大きな次元のターゲットを小さな次元の条件に分割できるため、次元は問題になりません（ギブスサンプリングの場合のように）。短所は、その（I）のシミュレーションである従って以下有益IIDシミュレーションより、相関しています。（ii）メソッドの検証は漸近的のみであるため、固定を実現として考慮することには近似があります。（iii）（in）への収束が非常に遅いため、すべての実用的な目的でアルゴリズムが収束しない$(x_t)_t$$x_t$$t$$f$$f$$t$; （iv）メソッドの普遍的な検証は、無限の数の潜在的な実装があり、同等の無限の範囲の効率を意味します。
3. 重要性サンプリング方法は、もともと積分近似、つまり間違ったターゲットから生成し、重要度の重み、で補正するために設計されてい結果として得られるサンプルはこのように重み付けされ、上記の扱いにくいものと比較されます。ただし、重要度サンプリングは、重みに基づいて追加のリサンプリングステップを使用することにより、重要度サンプリングのリサンプリングに変換できます。重要度サンプリングのリサンプリングの長所は、（i）重要度ターゲットからの生成が安価で、さまざまなターゲットリサイクルできることです。（ii）「正しい」選択f （x ）/ g （x $g(x)$g f g g $$f(x)/g(x)\,.$$ $g$$f$$g$通常のサンプリングまたはMCMCサンプリングと比較して大幅な改善につながる可能性があります。（iii）重要度サンプリングは、例えば準モンテカルロ積分のように、数値積分の改善により適しています。（iv）母集団モンテカルロや逐次モンテカルロのような適応型に変えることができます。短所は、（I）リサンプリング誘導非効率（部分的系統的再サンプリング又はQMCのようにノイズを低減することによって補正することができる）ことです。（ii）「間違った」選択は、効率の大きな損失、さらには無限の分散に至る可能性があります。（iii）大きな次元に直面することには重要性があり、その効率は次元とともに急速に低下します。（iv）メソッドは、のサポートの重要な領域が欠落しているローカルMCMCメソッドと同じくらい近視かもしれません。$g$$f$

結論として、最適なシミュレーション方法のようなものは存在しないという警告。積分近似するような特定の設定であっても、異なるメソッドを設計して実行するコストは可能であれば、非常にデリケートなグローバル比較を行うために、正式な観点からは、定数「推定」を返すというゼロ分散の答えに勝るものはありませんたとえば、からのシミュレーションが最適なオプションである場合は非常にまれです。これは、メソッドを比較できないことを意味するのではなく、追加コストが伴う改善の可能性が常にあることを意味します。I = ∫ X H （X ）F （X ）D X

$$\mathcal{I}=\int_{\mathcal{X}} h(x) f(x)\text{d}x\,,$$ $$\hat{\mathcal{I}}=\int_{\mathcal{X}} h(x) f(x)\text{d}x$$ $f$