重要度サンプリングによって生成されたモンテカルロ推定の結果


13

私は過去1年間、重要性のサンプリングにかなり密接に取り組んでおり、いくつかの自由回答形式の質問があります。

重要度サンプリングスキームに関する私の実際の経験は、それらが時折素晴らしい低分散と低バイアスの推定値を生成できることです。ただし、より頻繁に、サンプル分散が低いが非常に高いバイアスを持つ高エラー推定値を生成する傾向があります。

重要性サンプリング推定の有効性に影響を与える要因の種類を誰かが正確に説明できるかどうか疑問に思っていますか?特に、私は疑問に思っています:

1)バイアス分布が元の分布と同じサポートを持っている場合、重要度サンプリング推定値は正しい結果に収束することが保証されていますか?もしそうなら、なぜこれが実際にそれほど時間がかかるように見えるのですか?

2)重要度サンプリングを通じて生成された推定値の誤差とバイアス分布の「品質」(つまり、ゼロ分散分布と一致する程度)の間に定量化可能な関係がありますか

3)1)および2)に部分的に基づいています-単純なモンテカルロ法よりも重要度サンプリングの設計を使用するほうがよい前に、分布について知る必要がある「量」を定量化する方法があります。

回答:


8

重要度サンプリングの検証は、基本的なモンテカルロアプローチとまったく同じです。中核は、基本的なモンテカルロ法です。確かに、それは行くから、単に参照指標の変化であり、 H X F X

h(x)f(x)dx
h(x)f(x)g(x)g(x)dx
したがって、両方の場合、つまりからシミュレートするかgからシミュレートするかにかかわらず、収束は多数の法則によって保証されます。また、用語場合 H 2X 、F 2X fg は有限であり、中心極限定理も適用され、収束速度はO1/
h2(x)f2(x)g(x)dx
。「実際に非常に時間がかかる」場合は、CLTの上記の変動要因が非常に大きくなる可能性があるためです。しかし、私は主張し、速度は通常のモンテカルロと同じです、O1/O(1/n)O1/n

したがって、重要度サンプリング分布の品質は、上記の分散係数と直接関係しており、比例する「ゼロ分散分布」ではゼロになりますh x | f x |hバツ|fバツ


2
OPはバイアスがかけられているが分散が小さいと思われる小さな分散推定量を報告しているため、自己正規化された重要度サンプリングについて質問しているのではないかと思います。良い例については、調和平均推定量に関する Radford Nealの暴言をご覧ください。これは、分散が0の重要度サンプリング推定値を取り、ナンセンスを返します。これが定期的な重要度サンプリングで発生することはありませんが、確かにまれです。
deinst

これがOPの意図ではなかったとしても、私は自己正規化が恐ろしく間違って行く時を理解する方法に関するいくつかの指針に興味があります。
deinst

@deinst自己正規化手順とその落とし穴に気付いていなかったので、ありがとうございます!いずれにせよ、問題は私のISスキームの特性に関連する可能性があると思うので、もし誰かがアイデアを持っているなら、このアイデアをさらに探求したいと思います。
バークU.

@deinst私が使用しているISスキームは、サンプリング分布が手元にない状態で機能するように設計されています。このスキームでは、最初にMCMC手順を使用してMポイントx 1をシミュレートします。X Mゼロ分散分布からG *X = H X F X /H X x M^ g x を生成します。とg(x)Mx1..xM。次に、 x 1でカーネル密度推定を使用しますg(x)=h(x)f(x)/h(x)f(x)dxx1..xMg(x)^を手に入れると、N個の新しい点y1をサンプリングできます。yNは、IS推定値として$ \ sum {h(y_i)f(y_i)/ hat {g(y_i)} $g(x)^Ny1...yN
Berk U.

ノンパラメトリック推定を使用すると、モンテカルロ変動性よりも高次の変動性が生じるため、お勧めしません。
西安

7

西安は標準的な重要度のサンプリング結果をカバーしています。自己正規化された重要度サンプリングについて質問している場合は、あなただけが知っているfg

δ=h(x)f(x)dx
x1,,xng(x)
δ^=i=1nh(x)f(x)/g(x)i=1nf(x)/g(x).
X/Yω(X)=f(x)/g(X)
Eg(δ^)δ+δVarg(ω(X))Covg(ω(X),h(X)ω(X))n
Varg(δ^)Varg(h(X)ω(X))2δCovg(ω(X),h(X)ω(X))+δ2Varg(ω(X))n.

Varg(ω(X))Covg(ω(X),h(X)ω(X))


X/YG

@BerkUstun大文字のGは、私がすぐに修正する小さなタイプミスです。X / Yは、ランダム変数の一般的な比率です。IIRCこのすべては、劉のモンテカルロ本で説明されている(タイトルに科学的で何か。)
deinst

@deinst:素晴らしい!実際、自己正規化バージョンの特性は、偏りのない重要度サンプリング推定器の特性とはまったく異なります。理論的には、分母を推定するために別の重要度サンプラーが必要になります。
西安
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.