ギブスサンプリングを導出する方法?


11

他の質問やギブスのサンプリングに関するウィキペディアを参照するのではないかと心配しているので、私は実際にこれを尋ねるのをためらっています。

条件付き確率与えられた場合: p (x | y )y = y 0 y = y 1 x = x 0 1p(x|y)

p(x|y)y=y0y=y1x=x01426x=x13446

そして、条件付き確率: p (y | x )y = y 0 y = y 1 x = x 0 1p(y|x)

p(y|x)y=y0y=y1x=x01323x=x13747

結合確率を一意に導き出すことができます。funique=p(x,y)

p(x,y)y=y0y=y1p(x)x=x0a0a1c0x=x1a2a3c1p(y)b0b1

84∗2+3

a0+a1+a2+a3=1b0+b1=1c0+c1=1

と同様:

14b0=a034b0=a226(1−b0)=a146(1−b0)=a313c0=a023c0=a137(1−c0)=a247(1−c0)=a3

c0=34b023c0=a124b0=a126(1−b0)=a1b0=25

p(x,y)y=y0y=y1p(x)x=x0110210310x=x1310410710p(y)410610

それでは、継続的なケースに進みます。間隔を空けて、上記の構造をそのままにしておくこと(未知数よりも多くの方程式を使用)は考えられます。しかし、確率変数のインスタンスに(ポイント)移動するとどうなりますか?サンプリングはどうやって

xa∼p(x|y=yb)yb∼p(y|x=xa)

p(x,y)a0+a1+a2+a3=1∫X∫Yp(x,y)dydx=1∫Yp(y|x)dy=1。制約を書き留めて、ギブスサンプリングを第一原理から導き出すことはできますか?

したがって、私はギブスサンプリングを実行する方法には興味がありません。これは簡単ですが、それを導き出す方法、そしてできればそれが機能することを証明する方法(おそらく特定の条件下で)に興味があります。

回答:


9

p(x)p(x′)=∏ip(xi∣x<i,x>i′)p(xi′∣x<i,x>i′),
x′

p

(x0,y0)∼p(x0,y0)x1∼p(x1∣y0)

(x1,y0)∼∫p(x0,y0)p(x1∣y0)dx0=p(x1∣y0)p(y0)=p(x1,y0).

x

p(x)>0


互換性に関する興味深い問題。現在、「比率行列」を使用して互換性と一意性を確立している「有限離散条件付き分布の互換性」(Songほか)を確認しています。したがって、ギブスは最初から強制されていないため、これらの制約から派生させることはできません。たとえば、条件付き分布に互換性がない場合、不適切な結合分布(合計> 1)を返す可能性があると想像できます。しかし、どういうわけか、私がやっていることは、決定論的なものであり、ラドン変換に似ているものだと感じています。ギブスのサンプリングはとても汚く見えます。
— アンヴァンロッサム2014
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.