次元の増加に伴う正規分布の密度

私が尋ねたい質問はこれです：正規分布の平均の1 SD内のサンプルの割合は、変量の数が増えるにつれてどのように変化しますか？

（ほとんど）誰もが、1次元正規分布では、平均の1標準偏差内でサンプルの68％が見つかることを知っています。2、3、4、...次元についてはどうですか？私はそれが少なくなることを知っています...しかしどれだけ（正確に）？1、2、3 ... 10次元、および1、2、3 ... 10 SDの数値を示す表があると便利です。誰でもそのようなテーブルを指すことができますか？

もう少しコンテキスト-最大128チャネルのデータを提供するセンサーがあります。各チャネルは（独立した）電気ノイズの影響を受けます。キャリブレーションオブジェクトを検知すると、十分な数の測定値を平均して、128個の標準偏差とともに128個のチャネルで平均値を取得できます。

しかし...個々の瞬間的な測定値に関して言えば、データは128個のベクトル値の単一の測定値のように128個の測定値のように反応しません。確かに、これは私たちが取るいくつかの重要な測定値（通常は128の4-6）を処理する最良の方法です。

このベクトル空間で「通常の」変動と「外れ値」とは何かを感じたい。私はこの種の状況に当てはまると私が説明したようなテーブルを見たことがあると思います-誰でもそれを指すことができますか？

normal-distribution multivariate-analysis

— おまいた
ソース

してください-私は経験的な答えだけを持つことができます-私はほとんどの数学表記を理解していません。

— omatai

ことができますテイク：各正常でありと独立している-私はあなたがより高い次元で何を意味するかというのを推測します。 $X = (X_1,\dots,X_d) \sim N(0,I)$ $X_i$ $N(0,1)$ $X_i$

は平均の1 sd以内であると言うでしょう（Xとその平均値の間の距離は1より小さい）。今これは確率で起こるよう $X$ $||X|| < 1$ $||X||^2 = X_1^2 +\cdots+X_d^2\sim \chi^2(d)$ $P( \xi < 1 )$ $\xi\sim\chi^2(d)$ 。これは良いカイの正方形の表で見つけることができます...

以下にいくつかの値を示します。

\begin{array}{ll} d & P (ξ < 1) \\ 1 & 0.68 \\ 2 & 0.39 \\ 3 & 0.20 \\ 4 & 0.090 \\ 5 & 0.037 \\ 6 & 0.014 \\ 7 & 0.0052 \\ 8 & 0.0018 \\ 9 & 0.00056 \\ 10 & 0.00017 \end{array}

$\begin{array}{ll} d& P(\xi < 1)\\ 1 & 0.68\\ 2 & 0.39 \\ 3 & 0.20 \\ 4 & 0.090 \\ 5 & 0.037 \\ 6 & 0.014 \\ 7 & 0.0052 \\ 8 & 0.0018\\ 9 & 0.00056\\ 10& 0.00017\\ \end{array}$

また、2 sdの場合：

\begin{array}{ll} d & P (ξ < 4) \\ 1 & 0.95 \\ 2 & 0.86 \\ 3 & 0.74 \\ 4 & 0.59 \\ 5 & 0.45 \\ 6 & 0.32 \\ 7 & 0.22 \\ 8 & 0.14 \\ 9 & 0.089 \\ 10 & 0.053 \end{array}

$\begin{array}{ll} d & P(\xi < 4)\\ 1 & 0.95\\ 2 & 0.86\\ 3 & 0.74\\ 4 & 0.59\\ 5 & 0.45\\ 6 & 0.32\\ 7 & 0.22\\ 8 & 0.14\\ 9 & 0.089\\ 10 & 0.053\\ \end{array}$

あなたのようなcommadsとRでこれらの値を取得することができpchisq(1,df=1:10)、pchisq(4,df=1:10)など、

Post Scriptum枢機inalがコメントで指摘したように、これらの確率の漸近的挙動を推定することができます。CDF 変数である $\chi^2(d)$ ある不完全 -function、及びclassicaly。

F_{d} (x) = P (d / 2, x / 2) = \frac{γ (d / 2, x / 2)}{Γ (d / 2)}

$F_d(x) = P(d/2,x/2) = {\gamma(d/2, x/2) \over \Gamma(d/2)}$

γ (s, y) = \int_{0}^{y} t^{s - 1} e^{- t} d t

$\gamma(s,y) = \int_0^y t^{s-1} e^{-t} \mathrm d t$

γ

$\gamma$

Γ (s) = \int_{0}^{\infty} t^{s - 1} e^{- t} d t

$\Gamma(s) = \int_0^\infty t^{s-1} e^{-t} \mathrm d t$

場合部品ショーによって繰り返し統合すなわち、整数であり、 $s$ これはポアソン分布のCDFのテールです。

P (s, y) = e^{- y} \sum_{k = s}^{\infty} \frac{y^{k}}{k!},

$P(s,y) = e^{-y} \sum_{k=s}^\infty {y^k \over k!},$

今、この合計がその最初の項によって支配されている（枢機卿に感謝）： $P(s,y) \sim {y^s \over s!} e^{-y}$ $s$ $d$

P (ξ < x) = P (d / 2, x / 2) \sim \frac{1}{(d / 2)!} {(\frac{x}{2})}^{d / 2} e^{- x / 2} \sim \frac{1}{\sqrt{π d}} e^{\frac{1}{2} (d - x)} {(\frac{x}{d})}^{\frac{d}{2}} \sim \frac{1}{\sqrt{π}} e^{- \frac{1}{2} x} d^{- \frac{1}{2} d},

$P(\xi < x) = P(d/2,x/2) \sim {1 \over (d/2)!} \left({x\over 2}\right)^{d/2} e^{-x/2} \sim {1\over\sqrt{\pi d}}e^{{1\over 2}(d-x)} \left({x\over d}\right)^{d\over 2} \sim {1\over\sqrt\pi} e^{-{1\over 2}x} d^{-{1\over 2}d},$ for big even

d

$d$ , the penultimate equivalence using Stirling formula. From this formula we see that the asymptotic decay is very fast as

d

$d$ increase.

— Elvis
ソース

Welcome to our site, Elvis! Nice answer. (+1)

— whuber

(+1) Good answer. Here are a couple suggestions for your consideration: (1) It might help to make explicit what

ξ

$\xi$ is for clarity's sake, (2) briefly give an intuitive argument for the choice you've made for the meaning of "one standard deviation" in this context and why it is even well-defined in the first place, and (3) add a statement regarding the growth of this quantity as a function of

d

$d$ . (The OP asks for only "empirical" answers, but other readers might appreciate a small mathematical addendum.)

— cardinal

Thank you for your comments. I didn’t think this answer would receive much attention! It is true that this is a nice form of the curse of dimensionality... @cardinal concerning (3) I don’t know any asymptotic equivalent of the incomplete gamma function when the first parameters goes to infinity, the second being fixed, this is not easy! A rough majoration could be done, I may write that later.

— Elvis

Regarding (3), to avoid a computation, you can employ the following argument: Let

d

$d$ be even and such that

d = 2 k

$d = 2 k$ . Note that

Z_{i} = X_{2 i - 1}^{2} + X_{2 i}^{2}

$Z_i = X_{2i-1}^2 + X_{2i}^2$ is an

E x p (1 / 2)

$\mathrm{Exp}(1/2)$ random variable. So

‖ X ‖^{2} = \sum_{i = 1}^{k} Z_{i}

$\|X\|^2 = \sum_{i=1}^k Z_i$ . But, then

‖ X ‖^{2}

$\|X\|^2$ is just the time until the

k

$k$ th renewal of a Poisson process with rate 1/2. So

P (‖ X ‖^{2} < 1) = P (N_{1 / 2} (0, 1) \geq k) = e^{- 1 / 2} \sum_{x = k}^{\infty} 2^{- x} / x!

$\mathbb P(\|X\|^2 < 1 ) = \mathbb P( N_{1/2}(0,1) \geq k) = e^{-1/2} \sum_{x=k}^\infty 2^{-x}/x!$ . The tail of the Poisson is dominated by the leading term, so

P (‖ X ‖^{2} < 1) \sim e^{- 1 / 2} 2^{- k} / Γ (k + 1)

$\mathbb P(\|X\|^2 < 1) \sim e^{-1/2} 2^{-k} / \Gamma(k+1)$ as

d \to \infty

$d\to\infty$ (Again:

k = d / 2

$k = d/2$ ).

— cardinal

Part of the point of the foregoing comment is that we get an exact answer for all even

d

$d$ . Also, using Stirling's approximation, we get that

P (‖ X ‖^{2} < 1) \sim e^{- 1 / 2} 2^{- k} / Γ (k + 1) \sim e^{(d - 1) / 2} d^{- (d + 1) / 2} / \sqrt{π}

$\mathbb P(\|X\|^2 < 1 ) \sim e^{-1/2} 2^{-k} / \Gamma(k+1) \sim e^{(d-1)/2} d^{-(d+1)/2} / \sqrt{\pi}$ .

— cardinal