ギブスサンプリングと一般的なMH-MCMC


20

私はギブスのサンプリングとメトロポリス・ヘイスティングスのアルゴリズムについて読んでいるところですが、いくつか質問があります。

私が理解しているように、ギブスサンプリングの場合、大きな多変量問題がある場合、条件付き分布からサンプリングします。つまり、他のすべてを固定したまま1つの変数をサンプリングします。

文書によると、提案されたサンプルは常に Gibbs Samplingで受け入れられます。つまり、提案受け入れ率は常に1です。 。もしそうなら、事後分布を生成するために常にギブスサンプラーを使用しない理由は何ですか?


11
うまく構築された多変量MHの提案は、条件からのサンプリングが可能な場合でも、ギブスサンプリングを大幅に上回る可能性があります(たとえば、高次元の多変量正規、変数が高度に相関する場合、HMCはギブスを大幅に上回る)。これは、ギブスサンプリングでは変数を共同で進化させることができないためです。これは、個々の引数を繰り返し最適化することで関数を最適化することに似ています-引数を連続して最適化すると、各引数を連続して最適化する方が、後者の簡単ですが、より良い場合があります
男14年

Metropolis-Hastingsは、条件の提案を使用してサンプリングできます。特定の種類のMH を参照していますか?
-Glen_b-モニカーを復活14

1
コメントありがとう。いいえ、一般的に、ギブスサンプラーが頻繁に使用されない理由を考えていました。条件付き分布形式がギブスサンプリングのためにアプリオリに知られている必要があるという事実を見逃していた。私の現在のニーズでは、組み合わせが最適に機能するようです。したがって、パラメーターのサブセットに対してMHステップを使用し、他のパラメーターを一定に保ち、他のサブセットに対してGibbsを使用します(条件が分析的に簡単に評価できる場合)。私はこれを始めたばかりなので、さまざまな種類のMHをまだ認識していません。それに関するアドバイスは大歓迎です:
ルカ

回答:


12

メトロポリスアルゴリズムを使用する背後にある主な理由は、結果の事後が不明な場合でも使用できるという事実にあります。ギブスサンプリングでは、変量を引き出す事後分布を知る必要があります。


1
返信いただきありがとうございます!GSの場合、アイデアは、条件が非常に簡単にサンプリングできる単純な分布であるのに対し、ジョイント分布は既知ではあるがサンプリングが難しい複雑な分布であるという考えです。
ルカ14年

2
はい、その通りです。ただし、多くの場合、ギブスサンプリングとメトロポリスが併用されています。そのため、一部の変数を調整すると、閉形式の事後が得られる場合がありますが、他の変数ではこれが不可能であり、「メトロポリスステップ」を使用する必要があります。この場合、どのメトロポリスサンプラー(独立、ランダムウォーク)を使用するか、および使用する提案密度の種類を決定する必要があります。しかし、私はこれが少し行き過ぎていると思うので、まず自分でこの内容を読むべきです。
user3777456 14年

3

(おそらく高次元の)パラメーター空間をいくつかの低次元のステップに分解したため、ギブスサンプリングはサンプリングの次元の呪いを破ります。Metropolis-Hastingsは、リジェクションサンプリングテクニックを生成するという次元の問題を軽減しますが、まだ完全な多変量分布からサンプリングしている(そしてサンプルを受け入れ/拒否することを決定している)ため、アルゴリズムに次元の呪いがかかっています。

この単純化された方法で考えてください:すべての変数を同時に(Metropolis Hastings)するよりも、一度に1つの変数(Gibbs)の更新を提案する方がはるかに簡単です。

そうは言っても、収束できない可能性のあるパラメーターがさらにあるため、パラメーター空間の次元はギブスとメトロポリスヘイスティングスの両方で収束に影響を与えます。

ギブスループの各ステップが閉じた形式になっている可能性があるため、ギブスも優れています。これは多くの場合、各パラメーターが他のいくつかのパラメーターのみに条件付けられている階層モデルの場合です。多くの場合、各Gibbsステップが閉じた形式になるようにモデルを構築するのは非常に簡単です(各ステップが共役の場合、「準共役」と呼ばれることもあります)。多くの場合非常に高速な既知の分布からサンプリングしているため、これは素晴らしいことです。


「ギブスのサンプリングは、サンプリングの次元性の呪いを打ち破ります」:実際、ギブスのサンプリングは、適応提案共分散行列を持つメトロポリスヘイスティングスのようなものよりもはるかに悪い傾向があります。
クリフAB
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.