拒否サンプリングの証明はどのように意味がありますか？

私はモンテカルロ法のコースを受講しており、前回の講義で拒否サンプリング（またはAccept-Reject Sampling）方法を学びました。この方法の証明を示す多くのリソースがウェブ上にありますが、どういうわけか私はそれらに確信が持てません。

したがって、Rejection Samplingには、サンプリングが難しい分布あります。サンプリングしやすい分布を選択し、とような係数を見つけます。次に、からサンプリングし、各描画について、標準の一様分布からaもサンプリングします。 $f(x)$ $g(x)$ $c$ $f(x) \leq cg(x)$ $g(x)$ $x_i$ $u$ $U(u|0,1)$

サンプルは、場合は受け入れられ、それ以外の場合は拒否されます。 $x_i$ $cg(x_i)u \leq f(x_i)$

私が出会った証明は通常、であることを示し、そこで停止します。 $p(x|Accept) = f(x)$

このプロセスについて私が考えるのは、一連の変数あり、ペアはi。番目のサンプル（）に対応し、それが受け入れられるかどうかということです。（）。各ペアは、次のように互いに独立していることがわかります。 $x_1,Accept_1,x_2,Accept_2,...,x_n,Accept_n$ $x_i,Accept_i$ $x_i$ $Accept_i$ $x_i,Accept_i$

$P(x_1,Accept_1,x_2,Accept_2,...,x_n,Accept_n) = \prod\limits_{i=1}^n P(x_i,Accept_i)$

ため対我々が知っている及び。簡単に計算できますが、証明としてどのように十分なのかわかりません。アルゴリズムが機能することを示す必要があるので、受け入れられたサンプルの経験的分布がとして収束することを証明する必要があると私は思います。つまり、はすべての受け入れられたサンプルと拒否されたサンプルの数です。 $(x_i,Accept_i)$ $P(x_i) = g(x_i)$ $P(Accept_i|x_i) = \frac{f(x_i)}{cg(x_i)}$ $p(x_i|Accept_i)$ $f(x)$ $n\rightarrow\infty$ $n$

$\frac{Number \hspace{1mm} of \hspace{1mm} samples \hspace{1mm} with \hspace{1mm} (A \leq x_i \leq B)}{Number \hspace{1mm} of \hspace{1mm} accepted \hspace{1mm} samples} \rightarrow \int_A^B f(x)dx$ as 。 $n\rightarrow\infty$

この思考パターンに間違いはありますか？または、アルゴリズムの共通の証明とこれの間には関係がありますか？

前もって感謝します

sampling monte-carlo rejection-sampling

— Ufuk Can Bicici
ソース

回答:

アルゴリズムをランダム変数からドローを生成すると考える必要があります。アルゴリズムが機能することを示すには、アルゴリズムが必要なランダム変数からドローすることを示すだけで十分です。

ましょと pdfファイルとスカラーのランダム変数であるとそれぞれ、我々はすでにからサンプリングする方法を知っているものです。であるによってバインドできることもわかります。 $X$ $Y$ $f_X$ $f_Y$ $Y$ $f_X$ $Mf_Y$ $M\ge1$

私たちは今、新しいランダム変数の形成、これは確率値を取りますそしてそう。これは、からのドローを「受け入れる」アルゴリズムを表します。 $A$ $A | y \sim \text{Bernoulli } \left (\frac{f_X(y)}{Mf_Y(y)}\right )$ $1$ $\frac{f_X(y)}{Mf_Y(y)}$ $0$ $Y$

次に、アルゴリズムを実行して、から受け入れられたすべての描画を収集します。このランダム変数をと呼びます。 $Y$ $Z = Y|A=1$

を示すには、すべてのイベント、であることを示す必要があります。 $Z \equiv X$ $E$ $P(Z \in E) =P(X \in E)$

それでは、まずベイズの規則を使用してみましょう。

$P(Z \in E) = P(Y \in E | A =1) = \frac{P(Y \in E \& A=1)}{P(A=1)}$ 、

そして、私たちが書いている上部

\begin{aligned} P (Y \in E & A = 1) & = \int_{E} f_{Y, A} (y, 1) d y \\ = \int_{E} f_{A | Y} (1, y) f_{Y} (y) d y = \int_{E} f_{Y} (y) \frac{f_{X} (y)}{M f_{Y} (y)} d y = \frac{P (X \in E)}{M} . \end{aligned}

$\begin{align*}P(Y \in E \& A=1) &= \int_E f_{Y, A}(y,1) \, dy \\ &= \int_E f_{A|Y}(1,y)f_Y(y) \, dy =\int_E f_Y(y) \frac{f_X(y)}{Mf_Y(y)} \, dy =\frac{P(X \in E)}{M}.\end{align*}$

そして、下部は単純です

$P(A=1) = \int_{-\infty}^{\infty}f_{Y,A}(y,1) \, dy = \frac{1}{M}$ 、

上記と同じ理由で、ます。 $E=(-\infty, +\infty)$

そして、これらを組み合わせてます。これは、必要なです。 $P(X \in E)$ $Z \equiv X$

これがアルゴリズムのしくみですが、質問の最後で、より一般的な考えについて心配しているようです。つまり、経験的分布がサンプリングされた分布にいつ収束するのでしょうか。これは、私があなたを正しく理解していれば、あらゆるサンプリングに関する一般的な現象です。

この場合、すべて分布 iid確率変数とします。次に、任意のイベント、は期待値の線形性によって期待値持ちます。 $X_1, \dots, X_n$ $\equiv X$ $E$ $\frac{\sum_{i=1}^n1_{X_i \in E}}{n}$ $P(X \in E)$

さらに、適切な仮定が与えられれば、多数の強い法則を使用して、経験的確率がほぼ確実に真の確率に収束することを示すことができます。

— ハリ
ソース

答えてくれてありがとう。大数の法則を使用して、経験的分布が目標分布に収束することをどのように示すことができるかを明確にできますか？これはまさにこの場合に表示しようとするものです。

— Ufuk Can Bicici 2014年

Glivenko-Cantelli：www2.imperial.ac.uk/~das01/MyWeb/M3S3/Handouts/...

— 禅

@Harri邪魔なのは、実際の変数の値を学習した後で、ドローの受け入れを示すランダム変数（）を学習するという事実です。シーケンスに従って変数を観察します。したがって、変数を観察しようとしている場合、システムについてわかっているのはとあり、は独立しているためですそれらのうち、処理するのは最初に、次にです。

A = 1

$A=1$

Y_{1}, A_{1}, Y_{2}, A_{2}, . . ., Y_{n}, A_{n}

$Y_1,A_1,Y_2,A_2,...,Y_n,A_n$

Y_{2}

$Y_2$

Y_{1}

$Y_1$

A_{1}

$A_1$

Y_{2}

$Y_2$

P (Y_{2})

$P(Y_2)$

P (A_{2} | Y_{2})

$P(A_2|Y_2)$

— Ufuk Can Bicici 2014年

を知り、次にを知る順序があなたを邪魔する理由についてもう少し詳しく説明してもらえますか？

P (Y_{2})

$P(Y_2)$

P (A_{2} | Y_{2})

$P(A_2|Y_2)$

— Harri

まず、拒否サンプリング法の完全な手順では、単一の確率変数しか生成されないことに注意してください。一部のが受け入れられると、手順は停止し、なくなります。複数の確率変数が必要な場合は、手順を複数回繰り返します。 $x_i$ $x_{i+1}$

いくつかの教科書では、彼らはによる受け入れのイベントを示し、確率を計算します $A$

\begin{aligned} P (A) = & \int_{- \infty}^{\infty} d x \int_{0}^{\frac{f (x)}{c g (x)}} g (x) d u \\ = & \int_{- \infty}^{\infty} \frac{1}{c} f (x) d x \\ = & \frac{1}{c} . \end{aligned}

$\begin{aligned} P(A) =& \int_{-\infty}^{\infty}dx\int_0^{\frac{f(x)}{cg(x)}}g(x)du \\ =& \int_{-\infty}^{\infty}\frac{1}{c}f(x)dx \\ =& \frac{1}{c}. \end{aligned}$

そして

\begin{aligned} f_{X} (x | A) = & \frac{f_{X} (x) \cdot P (A | x)}{P (A)} \\ = & \frac{g (x) \cdot \frac{f (x)}{c g (x)}}{\frac{1}{c}} \\ = & f (x) . \end{aligned}

$\begin{aligned} f_X(x|A) =& \frac{f_X(x) \cdot P(A|x)}{P(A)}\\ =& \frac{g(x) \cdot \frac{f(x)}{cg(x)}}{\frac{1}{c}} \\ =& f(x). \end{aligned}$

混乱するのは、ここでの受け入れは単一のサンプルの受け入れであるように見えますが、手順全体で複数の拒否する場合があることです。 $A$ $x_i$ $x_i$

はい、より厳密な証明では、さまざまなステップでの受け入れの確率を考慮する必要があります。LET示す番目のサンプル、を表す確率密度関数、表し番目の受け入れを、そして最終的な受け入れ値を表します。次に、の確率密度関数ははあり、は以前に計算されたです。ノートあります $X_i$ $i$ $f_{X_i}$ $X_i$ $A_i$ $i$ $X_\infty$ $X_\infty$

f_{X_{\infty}} (x) = P (A_{1}) f_{X_{1}} (x | A_{1}) + P (A_{2}) f_{X_{2}} (x | A_{2}) + \dots .

$f_{X_\infty}(x) = P(A_1) f_{X_1}(x|A_1) + P(A_2) f_{X_2}(x|A_2) + \dots.$

P (A_{1})

$P(A_1)$

\frac{1}{c}

$\frac{1}{c}$

f_{X_{1}} (x | A_{1})

$f_{X_1}(x|A_1)$

f (x)

$f(x)$

P (A_{2})

$P(A_2)$

(1 - \frac{1}{c}) \frac{1}{c}

$\left(1-\frac{1}{c}\right)\frac{1}{c}$ の拒絶の確率でのでのみ持ちます拒否されを選択するチャンスです。

1 - \frac{1}{c}

$1-\frac{1}{c}$

X_{1}

$X_1$

X_{1}

$X_1$

X_{2}

$X_2$

また、もこれは、2番目のステップが前のステップの影響を受けないため、その確率は最初のステップと同じになるはずです。この説明があなたを納得させないなら、我々はそれを厳密に解決することもできます。注意してください時に定義されていない受け入れられている（または、あなたがたときに、任意の数であるように、それを定義することができ関わる確率のためにそう、未定義の値は、あなたが不快になる場合は受理された）、与えられた唯一の条件付き確率またはのサブセット理にかなっています。今 $f_{X_2}(x|A_2)$ $f(x)$ $X_2$ $X_1$ $X_1$ $X_2$ $A_1^c$ $A_1^c$

\begin{aligned} f_{X_{2}} (x | A_{2}) = & \frac{P (A_{1}^{c}) f_{X_{2}} (x | A_{1}^{c}) P (A_{2} | X_{2} = x)}{P (A_{2})} \\ = & \frac{P (A_{1}^{c}) f_{X_{2}} (x | A_{1}^{c}) P (A_{2} | X_{2} = x)}{P (A_{1}^{c}) P (A_{2} | A_{1}^{c})} \\ = & \frac{f_{X_{2}} (x | A_{1}^{c}) P (A_{2} | X_{2} = x)}{P (A_{2} | A_{1}^{c})} \\ = & \frac{g (x) \cdot \frac{f (x)}{c g (x)}}{\frac{1}{c}} \\ = & f (x) . \end{aligned}

$\begin{aligned} f_{X_2}(x|A_2) =& \frac{P(A_1^c)f_{X_2}(x|A_1^c)P(A_2|X_2=x)}{P(A_2)} \\ =& \frac{P(A_1^c)f_{X_2}(x|A_1^c)P(A_2|X_2=x)}{P(A_1^c)P(A_2|A_1^c)} \\ =& \frac{f_{X_2}(x|A_1^c)P(A_2|X_2=x)}{P(A_2|A_1^c)} \\ =& \frac{g(x) \cdot \frac{f(x)}{cg(x)}}{\frac{1}{c}} \\ =& f(x). \end{aligned}$ つまり、これが望ましい結果です。 = 1は直感的な意味を持っていることに注意してください。つまり、あるステップで最終的に1つのサンプルが受け入れられます。

\begin{aligned} f_{X_{\infty}} (x) = & P (A_{1}) f (x) + P (A_{2}) f (x) + \dots \\ = & (P (A_{1}) + P (A_{2}) + \dots) f (x) \\ = & (\frac{1}{c} + (1 - \frac{1}{c}) \frac{1}{c} + {(1 - \frac{1}{c})}^{2} \frac{1}{c} + \dots) f (x) \\ = & f (x) . \end{aligned}

$\begin{aligned} f_{X_\infty}(x) =& P(A_1) f(x) + P(A_2) f(x) + \dots \\ =& (P(A_1) + P(A_2) + \dots) f(x) \\ =& \left(\frac{1}{c} + \left(1-\frac{1}{c}\right)\frac{1}{c} + \left(1-\frac{1}{c}\right)^2\frac{1}{c} + \dots\right) f(x) \\ =& f(x). \end{aligned}$

P (A_{1}) + P (A_{2}) + \dots

$P(A_1) + P(A_2) + \dots$

i

$i$

— Cosyn
ソース