複数の期待を計算するときにドローを最適に分散する方法

期待値を計算したいとします。

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

モンテカルロシミュレーションを使用してこれを近似したいとします。

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

しかし、両方の分布からサンプルを抽出するのはコストがかかるため、固定数のみを抽出する余裕があると想定します。 $K$

どのようにを割り当てるべきですか？例には、各分布へのドロー、または極端な場合、外側の1ドローと内側のドロー、その逆などが含まれます。 $K$ $K/2$ $K-1$

私の直感は、それが互いに対する分布の分散/エントロピーと関係があるはずだと私に教えてくれます。外側の点が質点であるとすると、MCエラーを最小化するの除算は、 1を描画し、を描画します。 $K$ $Y$ $K-1$ $X|Y$

うまくいけば、これは明確でした。

— オオカミ
ソース

修正しました

— wolfsatthedoor

「逆も同様」と@ Xi'ansの回答へのコメントは、内部変数よりも外部変数を何回も描画できると考えていることを示しているようですが、どのようにすれば意味があるのでしょうか

インナーは無駄に描かれていますか？

0

$0$

— Juho Kokkala

十分公正で、アウターごとに最低1ドローだと思います。それとも、私が思う描画を保存するためにそれをプログラミングを考えることができ

— wolfsatthedoor

@robertevansanders西安の回答の最初の2文の質問の解釈が正しいかどうか確認してください

— Juho Kokkala

あなたが言ったように、ええ、しかしyとxを

— 入れ替え

これは非常に興味深い質問であり、層別化と Rao-Blackwellizationに関連する場合を除いて、モンテカルロの文献にはほとんど文書がありません。これは、予想される条件付き分散の計算と条件付き期待値の分散の計算がほとんど実行できないという事実が原因である可能性があります。

$R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$

R = K

$R=K$

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

$R+aRS=b$ $y_{rs}$ $a$ $x_r$

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / a R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

R^{*} = b / 1 + {a E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

$X$ $Y$ $Y$

$S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— 西安
ソース

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

@ Xi'anはいコルカタは正しいです、あなたの解決策は一般的には成り立ちません。ここで、内部変数に縮退分布があり、外部変数に意味のある分散があると仮定すると、内部描画をできるだけ少なくサンプリングしたいとします

— wolfsatthedoor

あなたの答えは正しくないと思います。内側の分布が退化し、外側の分散が大きい場合、Sを1にするにはどうすればよいですか

— wolfsatthedoor

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$ 。

— 西安