Gibbs Samplingアルゴリズムは詳細なバランスを保証しますか？

ギブスサンプリングがマルコフ連鎖モンテカルロサンプリング用のメトロポリスヘイスティングスアルゴリズムの特殊なケースであることは、最高の権限¹に基づいています。MHアルゴリズムは、常に詳細なバランスプロパティを持つ遷移確率を提供します。ギブズもそうすべきだと思う。では、次の単純なケースでどこがおかしいのでしょうか？

2つの離散（簡単にするため）変数のターゲット分布場合、完全な条件付き分布は次のとおりです。 $\pi(x, y)$

$$\begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align}$$

ギブスサンプリングを理解すると、遷移確率は次のように記述できます

$$Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1)$$

問題は、 しかし私が得ることができる最も近いものは これは微妙に異なり、詳細なバランスを意味するものではありません。ご意見ありがとうございます！

$$\pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\},$$ $$\begin{align} \pi(y_1,y_2) Prob\{(y_1, y_2) & \to (x_1, x_2)\} \\ & = \pi(y_1, y_2) q_2(x_2; x_1) q_1(x_1; y_2) \\ & = \frac{\pi(x_1, x_2)}{\sum_z \pi(x_1,z)}\frac{\pi(x_1, y_2)}{\sum_z \pi(z, y_2)}\pi (y_1, y_2) \\ & = \pi(x_1, x_2) q_2(y_2; x_1) q_1(y_1; y_2) \end{align}$$

マルコフ連鎖の1つの遷移を条件付き分布から順番にサンプリングする「ギブス掃引」と見なすことによって得られるマルコフ連鎖の詳細なバランスを表示しようとしました。このチェーンでは、詳細なバランスが満たされていません。ポイントは、条件付き分布からの特定のコンポーネントの各サンプリングが、詳細なバランスを満たす遷移であるということです。Gibbsサンプリングは、わずかに一般化されたMetropolis-Hastingsの特殊なケースであり、複数の異なる提案を交互に繰り返すと言う方が正確です。詳細は次のとおりです。

スイープは詳細なバランスを満たしていません

私は反例を構築します。次の表に示す確率を持つ2つのベルヌーイ変数（）を考えます。 Gibbsスイープはがサンプリングされるように順序付けられていると仮定する最初。1回の移動で状態から状態に移動することは、から移動する必要があるため不可能です。ただし、からに移動すると、正の確率、つまり$X_1,X_2$

$$\begin{equation} \begin{array}{ccc} & X_2 = 0 & X_2 = 1 \\ X_1 = 0 & \frac{1}{3} & \frac{1}{3} \\ X_1 = 1 & 0 & \frac{1}{3} \end{array} \end{equation}$$ $X_1$$(0,0)$$(1,1)$$(0,0)$$(1,0)$$(1,1)$$(0,0)$$\frac{1}{4}$。したがって、詳細なバランスが満たされていないと結論付けます。

ただし、このチェーンにはまだ正しい分布があります。詳細なバランスは、ターゲット分布に収束するための十分な条件ですが、必須ではありません。

コンポーネントごとの動きは、詳細なバランスを満たします

条件付き分布から最初の変数をサンプリングする2変量状態を考えます。と間の移動は、場合、両方向でゼロの確率を持ち、これらの場合、詳細なバランスが明らかに成り立ちます。次に、検討し： $(x_1,x_2)$$(y_1,y_2)$$x_2 \neq y_2$$x_2 = y_2$

$$\begin{equation} \pi(x_1,x_2) \mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2)) = \pi(x_1,x_2)\,p(y_1 \mid X_2 = x_2) = \pi(x_1,x_2) \, \frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)} \\ = \pi(y_1,x_2) \, \frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)} = \pi(y_1,x_2) \,p(x_1 \mid X_2 = x_2) = \pi(y_1,x_2) \mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2)). \end{equation}$$

コンポーネントごとの動きは、メトロポリス・ヘイスティングスの動きですか？

最初のコンポーネントからサンプリングすると、提案分布は条件付き分布です。（他のすべてのコンポーネントについては、確率現在の値を提案します）。からへの移動を考慮すると、ターゲット確率の比率は しかし、提案確率の比率は $1$$(x_1, x_2)$$(y_1, y_2)$

$$\begin{equation} \frac{\pi(y_1,x_2)}{\pi(x_1,x_2)}. \end{equation}$$ $$\begin{equation} \frac{\mathrm{Prob}((y_1,x_2) \rightarrow (x_1,x_2))}{\mathrm{Prob}((x_1,x_2) \rightarrow (y_1,x_2))} = \frac{\frac{\pi(x_1,x_2)}{\sum_z \pi(z,x_2)}}{\frac{\pi(y_1,x_2)}{\sum_z \pi(z,x_2)}} = \frac{\pi(x_1,x_2)}{\pi(y_1,x_2)}. \end{equation}$$ そのため、目標確率の比率と提案確率の比率は逆数であるため、受け入れ確率はます。この意味で、ギブスサンプラーの各動きは、メトロポリスヘイスティングスの動きの特殊なケースです。ただし、この観点から見た全体的なアルゴリズムは、通常提示されるメトロポリス・ヘイスティングスアルゴリズムのわずかな一般化であり、異なる提案分布（ターゲット変数の各コンポーネントに1つ）を交互に使用します。$1$