提案散布のパラメーターを変更することにより、ランダムウォークメトロポリスアルゴリズムの許容率を変更できますか？

提案分布のパラメーターを変更することにより、ランダムウォークメトロポリスアルゴリズムの受け入れ率を変更できますか？

ターゲットの分布をます。してみましょう新しい状態のための提案密度も現在の状態で。受け入れ率は $\pi$ $p(x_2 | x_1)$ $x_2$ $x_1$

α = min (1, \frac{π (x_{2}) p (x_{1} | x_{2})}{π (x_{1}) p (x_{2} | x_{1})})

$\alpha = \min(1, \frac{\pi(x_2) p(x_1|x_2)}{\pi(x_1) p(x_2|x_1)})$

私が正しい場合、ランダムウォークメトロポリスアルゴリズムでは、提案密度はの意味で対称である $p(x_2 | x_1) = p(x_1 | x_2)$ ため、受け入れ率は提案密度に依存せず、サンプリングするターゲット分布 $\pi$ したがって、提案分布のパラメータを変更しても、受け入れ率は変更されません $\alpha$ 。

たとえば、現在の状態での提案分布 $x_1$ が、一定の分散を持つ現在の状態を中心とするガウス分布である場合、つまり $N(x_1, \sigma^2)$ は、上記の意味で対称であり、ガウス提案分布の分散 $\sigma^2$ を変更しても、受け入れ率は変化しません $\alpha$ ？

ありがとう！

mcmc

— ティム
ソース

回答:

提案の分散が非常に低い場合、提案された新しい状態は現在の状態と非常に似ているため、は1に近くなります（制限内で、差異が0の場合、提案と現在の状態は同じになり、1）とまったく同じになるため、受け入れ率は100％に近くなります。 $\frac{\pi(x_2)}{\pi(x_1)}$

ただし、提案の分散が大きい場合、は（少なくとも場合によっては）1よりもかなり小さくなるため、受け入れ率はますます0％に近づきます。したがって、提案の差異が増えると、受け入れ率は低下します。 $\frac{\pi(x_2)}{\pi(x_1)}$

分散が非常に低い（受け入れ率が高くなる）場合の問題は、現在の状態から遠くに移動しないため、後部空間の探索に時間がかかることです。Haarioらのような適応MCMCメソッド。その場で提案の分散行列を変更することにより、そのような問題を処理しようとします。

受け入れ率を調整するには、分散を増やしたり減らしたりすることができます。これは、試行錯誤によるアプローチです。しかし、後部の形状によっては、サンプリングプロセス中に許容率が大幅に変化する場合があります。また、マルチパラメーターモデルの場合、提案の共分散行列には多くの分散と共分散の項があり、このような方法は実用的ではありません。

上記のリンクで概説されている適応的なメトロポリスの方法のように、これを処理するためのより洗練された方法があります。Metropolisが問題を解決しない場合は、JagsやStanなどのソフトウェアを試すこともできます。

— random_user
ソース

ありがとう！私の更新された投稿を見ることができますか？「Pr（プロポーザル状態）」とは、「Pr（プロポーザル状態|現在の状態）」ですか？

— ティム

こんにちは、新しい表記では、を意味します。対称的な提案で作業しているとのことで、気にしませんでした。したがって、それらの関係は一定であり、どの分散を選択しても1に等しくなります。

π (x_{2}) / π (x_{1})

$\pi(x_2)/\pi(x_1)$

p (x_{1} | x_{2}) / p (x_{2} | x_{1})

$p(x_1|x_2)/p(x_2|x_1)$

— random_user 14

これを説明するために答えを少し広げました。

— random_user 14

提案状態は確率変数なので、[0.2,0.5]のような間隔に受け入れ率を制御する方法がないことは正しいですか？

— ティム

それは後部のAFAIKの形状に依存します。事後分布が正規分布またはそれに近いものであり、正規分布でもある提案分布がある場合、試行錯誤を行って受け入れ率を「制御」できなかった理由はわかりません。提案。もちろん、実際の問題はこれよりもはるかに複雑になる可能性があります。

— random_user 2014

いくつかの定義は、この質問と回答を将来参照する際に役立つ可能性があることに注意してください。

受け入れられた提案された州の数と命題の数の比が受け入れ率を与えます。受け入れ率は、ランダムウォーク中の受け入れ率です。

$\alpha$ 質問のは、Robert＆Casellaの著書「Introduction to Monte Carlo Methods with R（2010、p。171）」で「受け入れ確率」と呼ばれています。これは非常に合理的です。質問の表記法に合わせてが表示されているため、次のように表示されます。 $\alpha$

x_{2} = {\begin{cases} x_{2} & with probability α (x_{2}, x_{1}) \\ x_{1} & with probability 1 - α (x_{2}, x_{1}) \end{cases} where α (x_{2}, x_{1}) = min {1, \frac{π (x_{2}) p (x_{1} | x_{2})}{π (x_{1}) p (x_{2} | x_{1})}}

$x_2= \begin{cases} x_2 & \quad \text{with probability } \alpha(x_2,x_1) \\ x_1 & \quad \text{with probability } 1 - \alpha(x_2,x_1)\\ \end{cases} \\ \\ \text{where }\ \alpha(x_2,x_1) = \min\left\{1, \frac{\pi(x_2)p(x_1 | x_2)}{\pi(x_1)p(x_2 | x_1)}\right\}$

ここで、は、場合、ランダムウォークの提案の場合、提案密度から独立する可能性があることに注意してください。ただし、random_userで説明されている理由により、上記で定義された受け入れ率は依然としてそれに依存しています。 $\alpha$ $p(x|y)=p(y|x)$

ロバートとカゼラは2つを区別することについて非常に明確であり、後者を「反復間の許容確率の平均」として定義します。

私はこの問題についてほとんど経験がありませんが、問題の「合格率」と呼ばれるものが「合格率」と呼ばれることもあるので（たとえばWikipediaを参照）、問題と同様の混乱を招きました。

— オズザンオレーデン
ソース