マルコフ連鎖とマルコフ連鎖モンテカルロの関係は何ですか

15

SASを使用してマルコフ連鎖を理解しようとしています。マルコフ過程は、将来の状態が現在の状態にのみ依存し、過去の状態には依存せず、ある状態から別の状態への遷移確率をキャプチャする遷移行列があることを理解しています。

しかし、その後、私はこの用語に出くわしました：マルコフチェーンモンテカルロ。私が知りたいのは、マルコフ連鎖モンテカルロが上記のマルコフ過程に関係があるかどうかです。

— ビクター
ソース

9

ええ、はい、MCMCからのドローはマルコフ連鎖を形成するため、2つの用語の間に関係があります。ゲルマン、ベイジアンデータ分析（第3版）、p。265：

マルコフチェーンシミュレーション（マルコフチェーンモンテカルロまたはMCMC とも呼ばれます）は、適切な分布から値を描画し、それらの描画を修正してターゲット事後分布をより良く近似する一般的な方法です。サンプリングは連続して行われ、サンプリングされた描画の分布は、最後に描画された値に応じて行われます。したがって、ドローはマルコフ連鎖を形成します。 $\theta$ $p(\theta|y)$

— シコラックス、モニカを復職させる
ソース

わかりましたが、なぜマルコフプロセスからランダムサンプルを描画する必要があるのですか。通常、ベルヌーイ、ポジションなど、他の多くの種類のプロセスがあります。-

— ビクター

2

@Victor MCMCのユースケースを見失ったと思います。事後分布の分析形式がない場合、ベイジアン統計でMCMCを使用します。

— シコラックスは、モニカを復活させる

3

+1ベイジアン統計は、おそらくMCMCの最も明白なアプリケーション（ターゲット分布が共同事後である場合）ですが、唯一可能なものではありません。

— Glen_b -Reinstate Monica

18

両方の概念の関係は、マルコフ連鎖モンテカルロ（別名MCMC）メソッドがマルコフ連鎖理論に依存して、複雑なターゲット分布からシミュレーションとモンテカルロ近似を生成することです。 $\pi$

実際には、これらのシミュレーション方法の出力シーケンスマルコフ連鎖、すなわち、分布するようなものである全体過去を与えのみに依存する。言い換えれば、ここで $X_1,\ldots,X_N$ $X_i$ $\{X_{i-1},\ldots,X_1\}$ $X_{i-1}$

{バツ}_{私} = f （ {バツ}_{私 - 1} 、 ϵ_{私} ）

$X_i=f(X_{i-1},\epsilon_i)$

f

$f$ はアルゴリズムで指定された関数であり、ターゲット分布

と

はiidです。（エルゴード）理論は、

が

なると

が（分布で）

収束することを保証します。

π

$\pi$

ϵ_{i}

$\epsilon_i$

X_{i}

$X_i$

π

$\pi$

i

$i$

\infty

$\infty$

MCMCアルゴリズムの最も簡単な例は、スライスサンプラーです。このアルゴリズムの反復iで、

シミュレート $\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ $\epsilon^2_i$

$\mathrm{N}(0,1)$

シミュレートε 1 I〜U（0 、1 $\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$ $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ $\epsilon_i^2\sim\mathrm{U}(0,1)$

またはR

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$ $(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

これは、ターゲット密度曲線の下でのマルコフ連鎖の垂直方向および水平方向の動きに追従します。

— 西安
ソース