メトロポリス-ヘイスティングスの受け入れ率> 0.5

バーンインが終了した後、メトロポリス-ヘイスティングスの受け入れ率を1に近づけることができるのはなぜですか（たとえば、SDが小さすぎる通常の提案分布で単峰分布を探索する場合）。私は自分のMCMCチェーンでそれを見ましたが、それがどうして意味があるのか​​わかりません。サミットに達した後、受容率は0.5未満の値で安定するはずです。

受け入れ率は、提案の配布に大きく依存します。分散が小さい場合、現在のポイントと提案の間の確率の比率は常に1に必ず近くなり、受け入れ率が高くなります。これは、私たちが通常使用する目標確率密度が小さなスケールで局所的にリプシッツ（滑らかさの一種）であるため、近くの2つのポイントの確率が（非公式に）似ているためです。

現在のサンプルがMAP値に近い場合、プロポーザルの許容確率は1未満ですが、それでも非常に1に近い可能性があります。

付記として、標準的な方法は、0.2〜0.25の受け入れ率になるようにプロポーザルの分布を調整することです。これについての議論はここを見てください。

1に等しい受け入れ確率の簡単な例は、正確なターゲットからシミュレーションする場合です。その場合、 これは非現実的な例のように聞こえますが、本物のイラストはギブスサンプラーです。これはメトロポリス-ヘイスティングスの手順のシーケンスとして解釈でき、すべて確率1です。

混乱の原因として考えられるのは、最適化アルゴリズムとしてのMetropolis-Hastingsアルゴリズムの潜在的な認識です。アルゴリズムは、より高いターゲット領域により多くの反復を費やしますが、最大を目指していません。そして、すべてのに対してですが、これは、提案値であるため、より低いターゲット値を持つ値が必ずしも拒否されることを意味しません。とも重要です。$\pi(x^\text{MAP})\ge\pi(x)$$x$$q(x^\text{MAP},x)$$q(x,x^\text{MAP})$