MCMCで自己相関を低くすることが望ましいのはなぜですか？

11

MCMCで自己相関をチェックする必要性について読み続けています。自己相関が低いことが重要なのはなぜですか？MCMCのコンテキストでは何を測定しますか？

sampling autocorrelation mcmc

— アメリオ・バスケス・レイナ
ソース

3

実際、MCMCサンプラーで高い負の自己相関を生成できる場合、このサンプラーはiidサンプリングを改善します。しかし、これは非常にまれな出来事です...

— 西安14

4

自己相関は、信号の値がさまざまな時点でその信号の他の値とどの程度相関しているかを示す尺度です。MCMCのコンテキストでは、自己相関は事後分布からの異なるサンプルの独立性の尺度です。自己相関が低いほど、より独立した結果を示します。

自己相関が高い場合、描画したサンプルは事後分布を正確に表していないため、問題の解決策として意味のある情報を提供しません。言い換えると、自己相関が低いほど、チェーンの効率が高くなり、推定値が向上します。一般的な規則は、自己相関が低いほど、メソッドを効果的にするために必要なサンプルが少なくなることです（ただし、単純化しすぎている可能性があります）。

— ヘンリー・ハモンド
ソース

MCMCの背景はあまりありませんが、最後の文は単純化しすぎていません。エラー推定に対する自己相関の影響を見ると、それらは値をからここで、は同じオブザーバブルで測定された自己相関時間です。つまり、の代わりに「効果的な測定」のみを行うようなものです。この声明はまだ少し単純化しすぎていますか？

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— 学習はめちゃくちゃ

10

まず、最も明白なことですが、自己相関が高い場合、N個のサンプルは分布に関するN個の情報を提供していませんが、それよりも少ないです。有効サンプルサイズ（ESS）は、実際に取得している情報量の1つの尺度です（自己相関パラメーターの関数です）。

関連して、自己相関は「短期的に」代表的でないサンプルを提供します。さらに、自己相関が多いほど、「短期」は長くなります。非常に強い自己相関の場合、短時間の実行はサンプル全体のかなりの割合になる可能性があります。通常の直接的な救済策は、再パラメーター化またはサンプリングパラメーターです。これらのパラメーターは、チェーン内で自己相関を生成するため、個別ではなくブロックで相互相関することが期待されます。人々はしばしば「薄い」こともありますが、これが根本的な問題を解決する上でどれほど有用であるかについての議論があります。 Kass 1997はこの問題についての非公式な議論ですが、他の人が推奨できる新しいものはおそらくあるでしょう。

つまり、強い自己相関チェーンは、開始条件から目的の分布に到達するまでに時間がかかりますが、情報量が少なくなり、その分布に到達するまでにかかる時間が長くなります。

— 共役する
ソース