これは正しいです？（Truncated-norm-multivariate-Gaussianの生成）

10

もし、すなわち、 $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$

f_{X} (x) = \frac{1}{{(2 π σ^{2})}^{n / 2}} \exp (- \frac{| | x | |^{2}}{2 σ^{2}})

$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$

多変量の場合の切り捨て正規分布の類似バージョンが必要です。

より正確には、ノルムに制約された（値）多変量ガウス st ここで、 $\geq a$ $Y$

f_{Y} (y) = {\begin{cases} c . f_{X} (y), if | | y | | \geq a \\ 0, otherwise . \end{cases}

$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$

c = \frac{1}{P r o b {| | X | | \geq a}}

$c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

今、私は以下を観察します：

もし、 $x=(x_1,x_2,\ldots,x_n)$ $||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

したがって、選択することによってガウス分布のサンプルとして、一つは制限することができるのうちサンプルとして切頭正規分布（ガウス尾以下分布）、確率でランダムに選択されたその符号を除いて。 $x_1,\ldots,x_{n-1}$ $x_n$ $\geq T$ $\mathcal{N}_T(0,\sigma^2)$ $1/2$

今私の質問はこれです、

各ベクトルサンプルを $(x_1,\ldots,x_n)$ $(X_1,\ldots,X_n)$ 次のように生成すると、

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

そして

$x_n = Z_1 *Z_2~$ $~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$ $Z_2\sim\mathcal{N}_T(0,\sigma^2)$ $T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

$(X_1,X_2,\ldots,X_n)$ $\geq a$ $Y$

編集：

以下は、ノルムが「1」を超える値に切り捨てられた2Dの場合の点の散布図です。ノルム打ち切り多変量ガウス

注：以下にいくつかの素晴らしい答えがありますが、この提案が間違っている理由の正当化が欠落しています。実際、それがこの質問の主要なポイントです。

normal-distribution simulation random-generation

— 確率を愛する
ソース

1

X_{1} \dots X_{n}

$X_1\ldots X_n$

n - 1

$n-1$

x_{i}, i = 1, \dots, n - 1

$x_i,i=1,\ldots,n-1$

x_{i}

$x_i$

x_{n}

$x_n$

x_{n}

$x_n$ 切り捨てのしきい値はサンプルごとに異なるため、明らかに時間変化します。あなたが提供した分解証明はまったく同じ意味で問題があります。限界は利用できません。

— 確率を愛する

X_{1}, \dots, X_{n - 1} \sim N (0, σ^{2})

$X_1,\ldots,X_{n-1}\sim \mathcal{N}(0,\sigma^2)$

X_{n} \sim N_{T} (0, σ^{2})

$X_n\sim\mathcal{N}_T(0,\sigma^2)$

X_{1}, \dots, X_{n - 1}

$X_1,\ldots,X_{n-1}$

@ Xi'an Conditional Gaussianは限界ガウスを意味しません!!

— 確率を愛する

X_{1}, \dots, X_{n - 1}

$X_1,\ldots,X_{n-1}$

X_{1}, \dots, X_{n - 1}

$X_1,\ldots,X_{n-1}$

1

@西安あなたの患者の答えをたくさんありがとう。私はあなたの刺激の私の間違いをようやく理解しました、そして私はそれを説明する私自身の詳細な答えも書きました。しかし、申し訳ありませんが、気にしないでください。問題を実際に解決するのに役立つ詳細な説明については、おそらくwhuberの回答を受け入れる必要があります。

— 確率が大好き2015年

11

$X$ $\rho=||X||^2$ $a$ $X$ $\rho$ $X/||X||$ $\rho\,\sigma$ $\chi(n)$

$X \sim \mathcal{N}(0,\mathbb{I}_n)$
$P$ $\chi^2(d)$ $(a/\sigma)^2$
$Y = \sigma P\, X/||X||$

$X$ $d$

$P$ $F^{-1}$ $\chi^2(d)$ $U$ $F((a/\sigma)^2)$ $1$ $P = \sqrt{F(U)}$

$10^5$ $\sigma P$ $\sigma=3$ $n=11$ $a=7$

$\chi(11)$ $\sigma=3$

$a=3$ $\sigma=1$ $n=2$ $Y_2$ $Y_1$ $10^4$ $a$

$X_i$ $a=0$ $a$ $n-1$ $a$ $((n-1)/2,(n-1)/2)$ $(-a,a)$ $a=3\sigma$ $2-1$ $3\sigma$

$10^5$ $3$ $a=10$ $\sigma=1$ $(1,1)$

$n-1$

R $Y$ adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

$U$ $1-U$ $P$

想定されたアルゴリズムに従ってデータをシミュレートし、それをヒストグラムで要約し、ヒストグラムを重ね合わせる同じ手法を使用して、質問で説明されている方法をテストできます。メソッドが期待どおりに機能しないことが確認されます。

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

— whuber
ソース

1

それは素晴らしい答えです！しかし、問題の提案が失敗した理由について、少し親切にも教えてください。（西安の答えは十分満足できるものではありません。彼が統合するときなど、彼の議論にはいくつかの問題があります）

— 確率を愛する

1

どうもありがとうございました。ただし、上記の最初のコメントにも回答してください。どうやら、私の提案も十分に近い良いヒストグラムを提供します。私は混乱しています！！間違いはどこですか？これが問題の主なポイントであり、IF CORRECTの場合、メソッドには「切り捨てガウス」サンプルが1つだけ必要であることに注意してください比較的複雑な切り捨て（ChiSquare）の必要性を回避）

— 確率を愛する

2

X_{1}, \dots, X_{n - 1}

$X_1,\ldots,X_{n-1}$

X_{n}

$X_n$

n = 2

$n=2$

1

詳細をありがとう。あなたが言ったように2次元散布図を追加し、いくつかの文を修正しました。ちなみに、申し訳ありませんが、証明の全負担をあなたに譲渡するつもりはありませんでした。私の提案はすべての単純なチェックで問題なく機能しているようです。そのため、この質問の主な目的でもある、なぜ間違っているのかを知りたいと思います。

— 確率を愛する

1

周辺分布を見ることは、手順の違いを説明するために見つけることができる最も簡単な方法です。これらの限界を示すために、図といくつかのコードを追加しました。

— whuber

7

|| y ||のポイントが必要ないことを前提に、これを書きました。> a、これは通常の1次元トランケーションの類似物です。ただし、| y ||のポイントを維持したいと書いています。> = aで、他は捨てます。それでも、| y ||のポイントを維持したい場合は、私のソリューションに明らかな調整を加えることができます。> = a。

非常に一般的な手法である最も簡単な方法は、Acceptance-Rejection https://en.wikipedia.org/wiki/Rejection_samplingを使用することです。Prob（|| X ||> a）がかなり低い限り、拒否は多くないため、かなり高速になります。

制約なしの多変量法線からサンプル値xを生成します（多変量法線が球形であると問題が述べている場合でも、そうでない場合でもこの手法を適用できます）。|| x ||の場合 <= a、受け入れる、つまりxを使用します。それ以外の場合は拒否して、新しいサンプルを生成します。必要な数の受け入れ済みサンプルが得られるまで、このプロセスを繰り返します。この手順を適用すると、|| y ||の場合、密度がc * f_X（y）となるようにyが生成されます。<= a、|| y ||の場合は0 > a、あなたの質問の冒頭部分に対する私の修正ごと。cを計算する必要はありません。実際には、サンプルが拒否される頻度に基づいてアルゴリズムによって自動決定されます。

— マーク・L・ストーン
ソース

3

+1私は、提案が非球対称MVNで機能し、効果的な状況を明確に説明し、拒否サンプリングを使用するかどうかを決定するときに拒否率を評価する必要性を強調することが好きです。

— whuber

2

はい、また、ここに示すように、しきい値の上下にある2ノルムだけでなく、任意の形状の受け入れ領域に対しても機能することに注意してください。

— Mark L. Stone

5

これは良い試みですが、「正規化定数」のために機能しません。結合密度を考慮すると

f_{X} (x) \propto \frac{1}{{(2 π σ^{2})}^{n / 2}} \exp (- \frac{| | x | |^{2}}{2 σ^{2}}) I_{| | x | | > a} = \frac{1}{{(2 π σ^{2})}^{n / 2}} \exp (- \frac{x_{1}^{2} + \dots + x_{n}^{2}}{2 σ^{2}}) I_{| | x | | > a}

$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$

f_{X} (x) \propto \frac{1}{{(2 π σ^{2})}^{(n - 1) / 2}} \exp (- \frac{| | x_{- n} | |^{2}}{2 σ^{2}}) \frac{1}{{(2 π σ^{2})}^{1 / 2}} \exp (- \frac{x_{n}^{2}}{2 σ^{2}}) I_{| | x | | > a}

$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$

= \frac{1}{{(2 π σ^{2})}^{(n - 1) / 2}} \exp (- \frac{| | x_{- n} | |^{2}}{2 σ^{2}}) \frac{1}{{(2 π σ^{2})}^{1 / 2}} \exp (- \frac{x_{n}^{2}}{2 σ^{2}}) I_{| | x_{- n} | |^{2} + x_{n}^{2} > a^{2}}

$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$

= \frac{P (X_{n}^{2} > a^{2} - | | x_{- n} | |^{2})}{{(2 π σ^{2})}^{(n - 1) / 2}} \exp (- \frac{| | x_{- n} | |^{2}}{2 σ^{2}})

$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$

\times \frac{P (X_{n}^{2} > a^{2} - | | x_{- n} | |^{2})^{- 1}}{{(2 π σ^{2})}^{1 / 2}} \exp (- \frac{x_{n}^{2}}{2 σ^{2}}) I_{x_{n}^{2} > a - | | x_{- n} | |^{2}}

$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$

f_{X_{- n}} (x_{- n}) \propto \frac{P (X_{n}^{2} > a^{2} - | | x_{- n} | |^{2})}{{(2 π σ^{2})}^{(n - 1) / 2}} \exp (- \frac{| | x_{- n} | |^{2}}{2 σ^{2}})

$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$

x_{n}

$x_n$

$X_n$ $X_{-n}$
$X_{-n}$ $\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

このプロパティを利用する唯一の方法は、切り捨てられた正規条件付き分布を使用して、一度に1つのコンポーネントであるギブスサンプラーを実行することです。

— 西安
ソース

1

f_{X} (x)

$f_X(x)$

3

問題は、ベクトルのサンプルを描画するために-共同分布の基本的な条件分解-を使用するという考えに由来しています。

$X$

$\text{Prob}(||X||>a) \triangleq T$ $Y\triangleq X.\mathbb{I}_{||X||>a}$

f_{Y} (y) = \frac{1}{T} \frac{1}{{(2 π σ^{2})}^{n / 2}} \exp (- \frac{| | y | |^{2}}{2 σ^{2}}) I_{| | y | | > a} = \frac{1}{T} \frac{1}{{(2 π σ^{2})}^{n / 2}} \exp (- \frac{y_{1}^{2} + \dots + y_{n}^{2}}{2 σ^{2}}) I_{| | y | | > a} = (\prod_{i = 1}^{n - 1} \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{y_{i}^{2}}{2 σ^{2}})) (\frac{1}{T} \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{y_{n}^{2}}{2 σ^{2}}) I_{| | y | | > a}) = \underset{Gaussians}{\underset{⏟}{(\prod_{i = 1}^{n - 1} \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{y_{i}^{2}}{2 σ^{2}}))}} \underset{Truncated Gaussian??}{\underset{⏟}{(\frac{1}{T} \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{y_{n}^{2}}{2 σ^{2}}) I_{y_{n}^{2} > (a^{2} - y_{1}^{2} - \dots y_{n - 1}^{2})})}}

$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$

最短の答えは、後者の因子は打ち切られたガウスではなく、（さらに重要なことに）分布でさえないということです。

上記の因数分解自体に根本的な欠陥がある理由の詳細は次のとおりです。単一の文で：与えられた結合分布の条件付き因数分解は、いくつかの非常に基本的な特性を満たさなければならず、上記の因数分解はそれらを満たしません（以下を参照）。

$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$ $f_X(x)$ $X$ $f_{Y|X}(y|x)$ $Y$

$f(x,y)$ $f_X(x)$
$f_{Y|X}(y|x)$ $x$

$Y_n|(Y_1\ldots Y_{n-1})$

$(Y_1\ldots Y_{n-1})$

このようなアルゴリズムの提案は、おそらく次の誤解の結果です：分布が共同分布（上記のガウス分布など）から自然に分解されると、条件付き分解につながります。----ありません！----他の（2番目の）要素も良いはずです。

注：以前の@whuberによるすばらしい回答があります。これは、実際にノルムトランケートされた多変量ガウスを生成する問題を解決します。私は彼の答えを受け入れています。この回答は、私の理解と質問の起源を明確にして共有するためのものです。

— 確率を愛する
ソース

2

+1ご意見をお寄せいただきありがとうございます。このスレッドには貴重な洞察が追加されています。

— whuber

これは正しいです ？（Truncated-norm-multivariate-Gaussianの生成）

問題は、ベクトルのサンプルを描画するために-共同分布の基本的な条件分解-を使用するという考えに由来しています。

これは正しいです？（Truncated-norm-multivariate-Gaussianの生成）