候補者の分布が均一なMetropolis-Hastingsの合格率

均一な候補分布でMetropolis-Hastingsアルゴリズムを実行する場合、受け入れ率を約20％にする根拠は何ですか？

私の考えは、真の（または真に近い）パラメータ値が見つかると、同じ均一な間隔からの新しい候補パラメータ値のセットが尤度関数の値を増加させることはありません。したがって、実行する反復が多いほど、取得率は低くなります。

この考えのどこが間違っているのですか？どうもありがとう！

これが私の計算のイラストです：

$$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$$

ここで、は対数尤度です。$l$

候補が常に同じ均一な間隔から取得され、$\theta$

$$p(\theta_c) = p(\theta^*).$$

したがって、受け入れ率の計算は次のように縮小されます。

$$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$$

したがって、の受け入れ規則は次のようになります。$\theta_c$

もし、間隔で一様分布から描画である次に、U [ 0 、1 $U \le Acceptance\_rate$$U$$[0,1]$

$$\theta^* = \theta_c,$$

それ以外の場合は、区間内の均一分布からを描画します [ θ M I N、θ M A X$\theta_c$$[\theta_{min}, \theta_{max}]$

私は、ロバーツ、ゲルマン、ギルクスによるランダムウォークメトロポリスアルゴリズムの弱い収束と最適なスケーリングが、0.234の最適な受け入れ率の原因であると考えています。

この論文が示しているのは、特定の仮定の下で、空間の次元が無限大になり、各座標の限界拡散が得られるように、ランダムウォークメトロポリス-ヘイスティングスアルゴリズムをスケーリングできるということです。限界では、受け入れ率が0.234の値を取る場合、拡散は「最も効率的」であると見なすことができます。直感的には、受け入れられた多くの小さなステップを行うことと、拒否される多くの大きな提案を行うことの間のトレードオフです。

Metropolis-Hastingsアルゴリズムは、シミュレーテッドアニーリングとは対照的に、実際には最適化アルゴリズムではありません。これは、ターゲット分布からシミュレートすることになっているアルゴリズムであるため、許容確率を0に向けるべきではありません。

@NRHで回答を追加するだけです。一般的な考え方は、Goldilocksの原則に従います。

• ジャンプが「大きすぎる」場合、チェーンがスティックします。
• ジャンプが「小さすぎる」場合、チェーンはパラメータ空間の探索を非常に遅くします。
• 私たちはジャンプがちょうどよいことを望みます。

もちろん問題は、「ちょうどいい」とはどういう意味か。基本的に、特定のケースでは、予想される正方形のジャンプ距離を最小化します。これは、lag-1の自己相関を最小化することと同じです。最近、シャーロックとロバーツは、マジック0.234が他のターゲットディストリビューションにも当てはまることを示しました：

C.シャーロック、G。ロバーツ（2009）; 楕円対称の単峰型ターゲットでのランダムウォークメトロポリスの最適なスケーリング。ベルヌーイ15（3）

質問の下でコメントする十分な評判がないため、これを回答として追加します。受け入れ率と受け入れ率は混同していると思います。

1. 合格率は、候補者を受け入れるか拒否するかを決定するために使用されます。合格率として呼んでいる比率を実際に合格率といい、合格率とは異なります。
2. 合格率は、候補者を受け入れる率です。これは、MCMCチェーン内の値の総数に対するMCMCチェーン内の一意の値の数の比率です。

最適な受け入れ率が20％であるという疑問は、実際には受け入れ率ではなく、実際の受け入れ率に関するものです。答えは他の答えにあります。私はあなたが抱えている混乱を指摘したかっただけです。