Metropolis-Hastingsアルゴリズムを使用したMCMC:提案の選択


11

3パラメータ関数の積分を評価するためにシミュレーションを行う必要があります。これは、非常に複雑な式を持つと言います。MCMC法を使用して計算し、Metropolis-Hastingsアルゴリズムを実装してとして分布する値を生成するように求められ、提案分布として3変量正規を使用することが提案されました。それに関するいくつかの例を読んで、いくつかは固定パラメータ法線を使用し、変数平均で使用するものを見ました。ここで、は最後に受け入れられた値ですに従って分配される。私は両方のアプローチについていくつか疑問があります:f N μ σ N X σ X fffN(μ,σ)N(X,σ)Xf

1)最後に受け入れられた値を提案分布の新しい平均として選択する意味は何ですか?私の直感は、私たちの値がとして分散された値に近くなり、受け入れられる可能性が高くなることを保証するはずだと述べています。しかし、それは私たちのサンプルを集中しすぎていませんか?さらにサンプルを取得すると、チェーンが静止することが保証されますか?f

2)固定パラメーター(は分析が本当に難しいため)を選択するのは非常に難しく、アルゴリズムを開始するために選択する必要がある最初のサンプルに依存しませんか?この場合、どちらが優れているかを見つけるための最良のアプローチは何でしょうか?f

これらのアプローチの1つは他のアプローチよりも優れていますか、それともケースによって異なりますか?

私の疑問が明確になり、いくつかの文学が提供されたらうれしいと思います(テーマについていくつかの論文を読んだことがありますが、もっと多い方がいいです!)

前もって感謝します!

回答:


8

1)この方法は、ランダムウォークアプローチと考えることができます。提案分布場合、これは一般にメトロポリスアルゴリズムと呼ばれます。場合は小さすぎると、あなたは、高い合格率を持っているし、非常にゆっくりと目標分布を検討します。実際、が小さすぎて、分布がマルチモーダルである場合、サンプラーが特定のモードで動かなくなり、ターゲットの分布を完全に探索できない場合があります。一方、が大きすぎると、受け入れ率が低くなります。3つの次元があるので、提案分布には共分散行列σ 2 σ 2 σ 2 Σ ΣxxtN(xt,σ2)σ2σ2σ2Σこれは、各次元に対して異なる分散と共分散を必要とする可能性があります。適切な選択するのは難しい場合があります。Σ

2)提案分布が常に 2)の場合、提案分布は現在のサンプルに依存しないため、これは独立したMetropolis-Hastingsアルゴリズムです。この方法は、プロポーザル分布がサンプリング元のターゲット分布の近似値である場合に最適です。正しい正規近似を選択するのは難しい場合があることは間違いありません。N(μ,σ2)

どちらの方法の成功も、サンプラーの初期値に依存するべきではありません。どこから始めても、マルコフ連鎖は最終的にターゲット分布に収束するはずです。収束を確認するには、異なる開始点からいくつかのチェーンを実行し、Gelman-Rubin収束診断などの収束診断を実行します。


「2)プロポーザル分布が常に場合、プロポーザル分布は現在のサンプルに依存しないため、これは独立したMetropolis-Hastingsアルゴリズムです。 "は対称からサンプルを描画していないため正しいです。したがって、これはMetropolis-Hastingアルゴリズムではなく、Metropolisアルゴリズムとより正確に呼ばれます。私は自分自身を完全に確信しているわけではないので、私も質問します。N μ σ 2N(μ,σ2)N(μ,σ2)
rhody

@rhody。Metropolisアルゴリズムは、現在の場所の条件を削除しません。重要なのは、現在の場所から対称的な提案でパラメーター空間をゆっくりとさまようことです。現在の場所とMetropolisの受け入れ確率の計算に依存する対称的な提案を使用すると、最終的にターゲット分布に収束します。独立したMetropolis-Hastingsアルゴリズムの場合、提案の分布をターゲットの分布の近似にしたいとし、受け入れ確率に別の計算を使用します。
jsk

@rhody。また、正規分布が対称分布であることは事実ですが、それはここで参照されるタイプの対称ではありません。qが提案分布である場合、q(Y | X)= q(X | Y)の場合、提案分布は対称です。場合、次いで、qは対称ではないので、のすべてのための及び。Q Y Q X X YqN(μ,σ2)q(Y)q(X)XY
jsk

xN(x,ε)
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.