重要度サンプリングとは何ですか？

私は強化学習を学ぼうとしていますが、このトピックは本当に混乱しています。統計を紹介しましたが、このトピックを直感的に理解できませんでした。

回答:

重要度サンプリングは、関心のある分布からパラメーターのより良い推定値をより簡単に取得できるように、関心のある分布とは異なる分布からのサンプリングの形式です。通常、これにより、同じサンプルサイズで元の分布から直接サンプリングすることによって得られるよりも低い分散でパラメーターの推定値が提供されます。

さまざまなコンテキストで適用されます。一般に、異なる分布からのサンプリングにより、アプリケーションによって指定された対象の分布の一部（重要な領域）で、より多くのサンプルを取得できます。

1つの例として、対象の分布からの純粋なランダムサンプリングが提供するよりも多くの分布の裾からのサンプルを含むサンプルが必要な場合があります。

Wikipediaの記事私はこのテーマで見てきた、あまりにも抽象的です。さまざまな特定の例を参照することをお勧めします。ただし、Bayesian Networksなどの興味深いアプリケーションへのリンクは含まれています。

1940年代および1950年代の重要度サンプリングの1つの例は、分散削減手法（モンテカルロ法の形式）です。たとえば、1964年にMethuen Monograph / Chapman and Hallとして出版され、1966年以降に他の出版社によって再版された、Hammersley and Handscombによる書籍Monte Carlo Methodsを 参照してください。本のセクション5.4では、重要度サンプリングについて説明しています。

— マイケル・R・チャーニック
ソース

これに追加するには：でRLは、あなたは、一般的に政策に重点サンプリングを適用している。例えば、サンプリングアクションを代わりに実際の政策の探査ポリシーからあなたが本当にしたいことをサンプルに

— ダヴィンチ

この回答は、重要度サンプリングが何を行うかを説明することから始まりますが、重要度サンプリングとは何かという質問に実際に答えることができないことに失望しました。

— whuber

@whuberここでの私の目標は、混乱したOPに概念を説明し、いくつかの文献を紹介することでした。これは大きなトピックであり、一見異なるアプリケーションで使用されています。他の人は私よりも簡単に詳細を説明できるかもしれません。質問に答えるときは、独り占めして素敵なグラフを提供し、平易な言葉を使って技術的な詳細を調べます。それらの投稿は、ほとんどの場合、その明確さと完全性でコミュニティを満足させますが、少なくとも部分的にはOPも満足させると思います。おそらく、方程式を含むいくつかの文で十分でしょう。

— マイケルR.チェルニック

たぶん、他のソースを指すだけでなく、リンクを提供するよりも、コミュニティが質問への回答に入れられる方が良いでしょう。私は自分がやったことが適切であり、統計の初心者であることを認めるOPはまず自分で努力する必要があると感じました。

— マイケルR.チャーニック

あなたにはポイントがあります。しかし、尋ねられた質問に答えを提供することは、数学、グラフ、余分な作業なしで、1つまたは2つ以上の文で可能かどうか疑問に思います。この場合、説明では、（単なる「パラメーター」ではなく）期待値を推定していることを強調する必要があります。次に、期待値は値と確率の積を合計するため、確率を変更しても同じ結果が得られることを指摘します（サンプリングが容易な分布の分布）に合わせて値を調整し、それを補正します。

— whuber

重要度サンプリングは、積分の近似を目的としたシミュレーションまたはモンテカルロ法です。「サンプリング」という用語は、特定の分布からサンプルを提供することを意図していないため、やや混乱を招きます。

背後にある直感重要度サンプリングは同様に、明確に定義された積分点であるの確率分布の広い範囲のための期待のように表すことができる：

I = \int_{X} h (x) d x

$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$

ここで、

は確率分布の密度を表し、

は

と

によって決定されます。（注ことから通常異なる。）実際、選択

I = E_{f} [H (X)] = \int_{X} H (x) f (x) d x

$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$

f

$f$

H

$H$

h

$h$

f

$f$ $H(\cdot)$ $h(\cdot)$

等式にリード

と

の支持体上にいくつかの制限下

、意味

H (x) = \frac{h (x)}{f (x)}

$H(x)=\dfrac{h(x)}{f(x)}$

H (x) f (x) = h (x)

$H(x)f(x)=h(x)$

I = E_{f} [H (X)]

$\mathfrak{I}=\mathbb{E}_f[H(X)]$

-

$-$

f

$f$

f (x) > 0

$f(x)>0$

h (x) \neq 0

$h(x)\ne 0$

-

$-$ 。したがって、W。フーバーが彼のコメントで指摘したように、期待値としての積分の表現には単一性はありませんが、反対にそのような表現の無限の配列があります。それらが採用されています。たとえば、Michael Chernickは、推定量の分散を減らすために

を選択することに言及しています。

f

$f$

この基本的な特性が理解されると、アイデアの実装は、他のモンテカルロ法と同様に大きな数の法則に依存することです。つまり、[擬似乱数ジェネレーターを介して] iidサンプルから分配と近似使用する $(x_1,\ldots,x_n)$ $f$ その

\hat{私} = \frac{1}{n} \sum_{私 = 1}^{n} H （ {バツ}_{私} ）

$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$

不偏推定量 $\mathfrak{I}$
ほぼ確実に収束する $\mathfrak{I}$

ディストリビューションの選択に応じて、上記の推定は、または有限差異があってもなくてもよいです。ただし、有限の分散を可能にし、任意の小さな分散を可能にする選択肢が常に存在します（実際、これらの選択肢は利用できない場合があります）。そして、もの選択肢が存在する重点サンプリング推定作るの非常に貧しい近似。ChatterjeeとDiaconisによる最近の論文では、重要度サンプラーを無限分散と比較する方法が研究されていますが、これには分散が無限になるすべての選択肢が含まれます。下の写真は $f$ $\hat{\mathfrak{I}}$ $f$ $f$ $\hat{\mathfrak{I}}$ ${\mathfrak{I}}$ 論文に関する私のブログでの議論と、無限分散推定量の不十分な収束を示しています。

重要度分布、Exp（1）分布ターゲット分布、Exp（1/10）分布、および対象関数使用した重要度サンプリング。積分の真の値はです。 $h(x)=x$ $10$

[以下は、私たちの本Monte Carlo Statistical Methodsから複製されたものです。]

それは実際に（元の）分布以外の分布から生成するために支払ってもよい理由リプリー（1987）番組から次の例一体に現れる $f$ 興味のある、または言い換えれば、与えられた密度に対する期待として積分の表現を変更すること。

\int_{X} h (x) f (x) d x

$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$

例（コーシーテール確率）は 、関心の量は確率であると仮定しコーシーことは、変数がより大きい、すなわち、 $p$ ${\mathcal{C}}(0,1)$ $2$ 経験的な平均によって評価され

p = \int_{2}^{+ \infty} \frac{1}{π (1 + x^{2})} d x .

$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$

p

$p$

IIDサンプルの

{\hat{p}}_{1} = \frac{1}{m} \sum_{j = 1}^{m} I_{X_{j} > 2}

${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$

X_{1}, \dots, X_{m}

$X_1,\ldots,X_m$

\sim

$\sim$

、この推定量の分散は、

（に等しい

ため

）。

C (0, 1)

$\; \mathcal{C}(0,1)$

p (1 - p) / m

$p(1-p)/m$

0.127 / m

$0.127/m$

p = 0.15

$p=0.15$

この差異は考慮の対称的な性質とることにより低減することができる平均ので、 ${\mathcal{C}}(0,1)$ 分散は等しくなります。

{\hat{p}}_{2} = \frac{1}{2 m} \sum_{j = 1}^{m} I_{| X_{j} | > 2}

${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$

p (1 - 2 p) / 2 m

$p(1-2p)/2m$

0.052 / m

$0.052/m$

これらの方法の（相対的な）非効率性は、関心のある領域外側の値の生成によるものであり、ある意味ではの近似には無関係です。[これは、尾部面積の推定に言及したマイケル・チャーニックに関連しています。] がと記述されている場合 $[2,+\infty)$ $p$ $p$

p = \frac{1}{2} - \int_{0}^{2} \frac{1}{π (1 + x^{2})} d x,

$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$

h (X) = 2 / π (1 + X^{2})

$h(X) = 2/\pi(1 + X^2)$

X \sim U_{[0, 2]}

$X \sim {\mathcal{U}}_{[0, 2]}$

p

$p$

{\hat{p}}_{3} = \frac{1}{2} - \frac{1}{m} \sum_{j = 1}^{m} h (U_{j})

${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$

U_{j} \sim U_{[0, 2]}

$U_j \sim {\mathcal{U}}_{[0,2]}$

{\hat{p}}_{3}

${\hat{p}}_3$

(E [h^{2}] - E [h]^{2}) / m

$(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$

0.0285 / m

$0.0285/m$

p

$p$

p = \int_{0}^{1 / 2} \frac{y^{- 2}}{π (1 + y^{- 2})} d y,

$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$

\frac{1}{4} h (Y) = 1 / 2 π (1 + Y^{2})

${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$

[0, 1 / 2]

$[0,1/2]$

p

$p$

{\hat{p}}_{4} = \frac{1}{4 m} \sum_{j = 1}^{m} h (Y_{j})

${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$

Y_{j} \sim U_{[0, 1 / 2]}

$Y_j \sim {\mathcal{U}}_{[0,1/2]}$

{\hat{p}}_{4}

${\hat{p}}_{4}$

0.95 10^{- 4} / m

$0.95 \; 10^{-4}/m$ .

Compared with ${\hat{p}}_1$ , the reduction in variance brought by ${\hat p}_4$ is of order $10^{-3}$ , which implies, in particular, that this evaluation requires $\sqrt{1000} \approx 32$ times fewer simulations than $\hat p_1$ to achieve the same precision. $\blacktriangleright$

— Xi'an
ソース

Thank you @Xi' an for going to the trouble of illustrating importance sampling in a way that everyone can appreciate and I think more than satisfies Bill Huber's request. +1

— Michael R. Chernick

I want to note that initially this post was put on hold and thanks to the contributions of several people. We have come up with an informative thread.

— Michael R. Chernick

Christian, I want to extend my thanks and express a feeling of privilege that you are actively sharing such excellent material with us.

— whuber

I just want to add a thank you to Xi'an who was kind enough to make a few edits to improve my answer even though he gave one of his own.

— Michael R. Chernick

This has to be one of the best posts on stats.stackexchange. Thanks for sharing!

— -dohmatob