メトロポリスとヘイスティングスの統合-戦略が機能しないのはなぜですか？

を統合したい関数 $g(x)$ あるとしもちろん、がエンドポイントでゼロになり、爆発がなく、素晴らしい機能であると仮定します。私がいじっていた1つの方法は、Metropolis-Hastingsアルゴリズムを使用して、正規化定数が欠落している比例する分布からサンプルリストを生成することですこれをと呼び、これらのについて統計を計算します。

\int_{- \infty}^{\infty} g (x) d x .

$\int_{-\infty}^\infty g(x) dx.$

g (x)

$g(x)$

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \dots, x_n$

g (x)

$g(x)$

N = \int_{- \infty}^{\infty} g (x) d x

$N = \int_{-\infty}^{\infty} g(x)dx$

p (x)

$p(x)$

f (x)

$f(x)$

x

$x$

\frac{1}{n} \sum_{i = 0}^{n} f (x_{i}) \approx \int_{- \infty}^{\infty} f (x) p (x) d x .

$\frac{1}{n} \sum_{i=0}^n f(x_i) \approx \int_{-\infty}^\infty f(x)p(x)dx.$

以来、、私は置換することができるキャンセルする形の発現をもたらす、積分からそのため、その領域に沿ってに統合される場合、結果を取得する必要があります。これは、必要な答えを得るために逆数を取ることができます。したがって、サンプルの範囲を取得して（ポイントを最も効果的に使用するため）、とし、描画した各サンプルに対してします。そのように $p(x) = g(x)/N$ $f(x) = U(x)/g(x)$ $g$

\frac{1}{N} \int_{- \infty}^{\infty} \frac{U (x)}{g (x)} g (x) d x = \frac{1}{N} \int_{- \infty}^{\infty} U (x) d x .

$\frac{1}{N}\int_{-\infty}^{\infty}\frac{U(x)}{g(x)} g(x) dx = \frac{1}{N}\int_{-\infty}^\infty U(x) dx.$

U (x)

$U(x)$

1

$1$

1 / N

$1/N$

r = x_{max} - x_{min}

$r = x_\max - x_\min$

U (x) = 1 / r

$U(x) = 1/r$

U (x)

$U(x)$ サンプルが存在しない領域の外側ではゼロと評価されますが、その領域では

1

$1$ に統合されます。期待値を取得したら、

E [\frac{U (x)}{g (x)}] = \frac{1}{N} \approx \frac{1}{n} \sum_{i = 0}^{n} \frac{U (x)}{g (x)} .

$E\left [\frac{U(x)}{g(x)}\right ] = \frac{1}{N} \approx \frac{1}{n} \sum_{i=0}^n \frac{U(x)}{g(x)}.$

サンプル関数 Rでこれをテストしてみました $g(x) = e^{-x^2}$ 。この場合、Metropolis-Hastingsを使用してサンプルを生成するのではなく、実際の確率を使用してrnormサンプルを生成します（テストのみ）。探している結果が得られません。基本的に、私が計算することの完全な表現は次のとおりです。

\frac{1}{n (x_{max} - x_{min})} \sum_{i = 0}^{n} \frac{1}{e^{- x_{i}^{2}}} .

$\frac{1}{n(x_{\max} - x_\min)} \sum_{i=0}^n \frac{1}{ e^{-x_i^2}}.$ これは私の理論では

評価されるはず

1 / \sqrt{π}

$1/\sqrt{\pi}$ です。それは近づきますが、確かに予想された方法で収束しません、私は何か間違ったことをしていますか？

ys = rnorm(1000000, 0, 1/sqrt(2))
r = max(ys) - min(ys)
sum(sapply(ys, function(x) 1/( r * exp(-x^2))))/length(ys)
## evaluates to 0.6019741. 1/sqrt(pi) = 0.5641896

CliffABの編集

範囲を使用する理由は、ポイントがある領域でゼロ以外の関数を簡単に定義するためですが、範囲 $1$ に統合されます。関数の完全な仕様は次のとおりですこの均一な密度としてを使用する必要はありませんでした。たとえば、確率密度など、に統合された他の密度を使用することもできますただし、これにより個々のサンプルの合計が簡単になります。 $[-\infty, \infty]$

U (x) = {\begin{cases} \frac{1}{x_{max} - x_{min}} & x_{max} > x > x_{min} \\ 0 & otherwise. \end{cases}

$U(x) = \begin{cases} \frac{1}{x_\max - x_\min} & x_\max > x > x_\min \\ 0 & \text{otherwise.} \end{cases}$

U (x)

$U(x)$

1

$1$

P (x) = \frac{1}{\sqrt{π}} e^{- x^{2}} .

$P(x) = \frac{1}{\sqrt{\pi}} e^{-x^2}.$

\frac{1}{n} \sum_{i = 0}^{n} \frac{P (x)}{g (x)} = \frac{1}{n} \sum_{i = 0}^{n} \frac{e^{- x_{i}^{2}} / \sqrt{π}}{e^{- x_{i}^{2}}} = \frac{1}{n} \sum_{i = 0}^{n} \frac{1}{\sqrt{π}} = \frac{1}{\sqrt{π}} .

$\frac{1}{n} \sum_{i=0}^n \frac{P(x)}{g(x)} = \frac{1}{n} \sum_{i=0}^n \frac{e^{-x_i^2}/\sqrt{\pi}}{e^{-x_i^2} } = \frac{1}{n} \sum_{i=0}^n \frac{1}{\sqrt{\pi}} = \frac{1}{\sqrt{\pi}}.$

私はに統合する他のディストリビューションのためにこのテクニックを試みることができる。ただし、均一な配布では機能しない理由を引き続き知りたいと思います。 $1$

— マイク・フリン
ソース

すぐにこれを見ているだけなので、なぜrange（x）を使用することにしたのか正確にはわかりません。有効であるという条件付きで、それは非常に非効率的です！そのサイズのサンプルの範囲は、あなたがとることができる最も不安定な統計量とほぼ同じです。

— クリフAB

@CliffAB範囲を使用することに関して、特別なことは何もありませんが、私のポイントがある区間で均一な分布を定義することは別です。編集を参照してください。

— マイクフリン

これについては後で詳しく見ていきます。しかし、考慮すべきことは、xが均一なRVのセットである場合、、範囲です。しかし、xが非変性通常のRVのセットである場合、、ます。

n \to \infty

$n \rightarrow \infty$

(x) \to 1

$(x) \rightarrow 1$

n \to \infty

$n \rightarrow \infty$

range (x) \to \infty

$\text{range}(x) \rightarrow \infty$

— クリフAB

あなたが右だったかもしれない@CliffAB、私はその理由は、積分の境界が固定されていないということだったと思うし、推定量の分散が収束することはありませんので...

— マイク・フリン

これは最も興味深い質問です。これは、同じ密度からのMCMC出力に基づいて密度正規化定数を近似する問題に関連しています。（副次的な発言は、が積分可能であり、無限大でゼロになることは十分ではないという正しい仮定であるということです。） $g$ $g$ $g$

私の意見では、あなたの提案に関するこのトピックの最も関連性の高いエントリは、Gelfand and Dey（1994、JRSS B）による論文であり、著者はから生成する場合。この論文の結果の1つは、確率密度 [これはと同等]で、次のアイデンティティからサンプルことを示し ANを生成することができ

\int_{X} g (x) d x

$\int_\mathcal{X} g(x) \,\text{d}x$

p (x) \propto g (x)

$p(x)\propto g(x)$

α (x)

$\alpha(x)$

U (x)

$U(x)$

{x; α (x) > 0} \subset {x; g (x) > 0}

$\{x;\alpha(x)>0\}\subset\{x;g(x)>0\}$

\int_{X} \frac{α (x)}{g (x)} p (x) d x = \int_{X} \frac{α (x)}{N} d x = \frac{1}{N}

$\int_\mathcal{X} \dfrac{\alpha(x)}{g(x)}p(x) \,\text{d}x=\int_\mathcal{X} \dfrac{\alpha(x)}{N} \,\text{d}x=\dfrac{1}{N}$

p

$p$ 公正な評価のに重要サンプリング推定器によって明らかに、推定器の性能（収束速度、分散の有無、およびTC）の選択に依存しない [その期待はしていませんが]。ベイジアンフレームワークでは、GelfandとDeyが提唱する選択肢は、事前密度であるを取ることです。これにより、ここで、であるため、は尤度関数です。

1 / N

$1/N$

\hat{η} = \frac{1}{n} \sum_{i = 1}^{n} \frac{α (x_{i})}{g (x_{i})} x_{i} \overset{iid}{\sim} p (x)

$\hat\eta=\frac{1}{n}\sum_{i=1}^n \dfrac{\alpha(x_i)}{g(x_i)}\qquad x_i\stackrel{\text{iid}}{\sim}p(x)$

\hat{η}

$\hat\eta$

α

$\alpha$

α = π

$\alpha=\pi$

\frac{α (x)}{g (x)} = \frac{1}{ℓ (x)}

$\dfrac{\alpha(x)}{g(x)} = \dfrac{1}{\ell(x)}$

ℓ (x)

$\ell(x)$

g (x) = π (x) ℓ (x)

$g(x)=\pi(x)\ell(x)$ 。残念ながら、結果の推定器は調和平均推定器であり、これまでで最悪のモンテカルロ推定器とも呼ばれます。トロント大学のラドフォード・ニール。そのため、常にうまく機能するとは限りません。またはほとんどありません。

\hat{N} = \frac{n}{\sum_{i = 1}^{n} 1 / ℓ (x_{i})}

$\hat{N}=\dfrac{n}{\sum_{i=1}^n1\big/\ell(x_i)}$

サンプルの範囲およびその範囲の均一性を使用するという考えは、調和平均の問題に関連しています。この推定量は、分子に現れる（無制限のサポートの場合は常にそうなると思われます！）したがって、正規化定数に非常にゆっくり収束します。たとえば、コードを数回再実行すると、10回の反復後に非常に異なる数値が得られます。これは、答えの大きささえ信用できないことを意味します。 $(\min(x_i),\max(x_i))$ $\exp\{x^2\}$

この無限の分散問題への一般的な修正を使用することである例えば、あなたのサンプルの四分位用いて、より濃縮された密度、なぜなら次いでこの間隔の間、下限を維持します。 $\alpha$ $(q_{.25}(x_i),q_{.75}(x_i))$ $g$

コードをこの新しい密度に適応させると、近似は非常に近くなり。 $1/\sqrt{\pi}$

ys = rnorm(1e6, 0, 1/sqrt(2))
r = quantile(ys,.75) - quantile(ys,.25)
yc=ys[(ys>quantile(ys,.25))&(ys<quantile(ys,.75))]
sum(sapply(yc, function(x) 1/( r * exp(-x^2))))/length(ys)
## evaluates to 0.5649015. 1/sqrt(pi) = 0.5641896

この方法については、Darren WraithとJean-Michel Marinの 2つの論文で詳しく説明しています。

— 西安
ソース