ここでない中心極限定理（CLT）でから来ますか？

36

以下のような中央限定定理の非常に単純なバージョンこれはLindeberg–Lévy CLTです。左側にがある理由がわかりません。そして、リアプノフCLTはと言いが、なぜない？やなど、これらの要因について教えてください。定理でそれらをどのように取得しますか？

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}}

$\frac{1}{s_n}$

central-limit-theorem intuition

— 空飛ぶ豚
ソース

3

これはstats.stackexchange.com/questions/3734で説明されています。「直観」を要求するため、その答えは長くなります。結論として、「この単純な近似は、元々、普遍的な制限分布があること、その対数が2次関数であり、適切なスケール係数

s_{n}

$s_n$ が

比例する必要があることをde Moivreが疑っていた方法を示唆しています

\sqrt{n}

$\sqrt{n}$ ...。 "

— whuber

1

直観的に、すべての

σ_{i} = σ

$\sigma_i=\sigma$ 場合、

s_{n} = \sqrt{\sum σ_{i}^{2}} = \sqrt{n} σ

$s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$ で、1行目から2行目が続きます：

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$ によって除算

σ = \frac{s_{n}}{\sqrt{n}}

$\sigma = \frac{s_n}{\sqrt{n}}$

\frac{\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ)}{\frac{s_{n}}{\sqrt{n}}} = \frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ （もちろんリアプノフ条件、組み合わせオフall $\sigma_i$ は別の質問です）

— Sextus Empiricus

33

いい質問（+1）!!

独立したランダム変数 $X$ および $Y$ 場合、 $Var(X+Y) = Var(X) + Var(Y)$ およびことを思い出してください $Var(a\cdot X) = a^2 \cdot Var(X)$ 。したがって、の分散 $\sum_{i=1}^n X_i$ は $\sum_{i=1}^n \sigma^2 = n\sigma^2$ であり、の分散です $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ は $n\sigma^2 / n^2 = \sigma^2/n$ です。

これは分散のためです。ランダム変数を標準化するには、標準偏差で除算します。ご存じのとおり、の期待値はなので、変数 $\bar{X}$ $\mu$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$ は期待値0と分散1があります。したがって、ガウスになりやすい場合は、標準のガウスでなければなりません。最初の方程式の定式化は同等です。左側にを掛けることで、分散をます。

N (0, 1)

$\mathcal{N}(0,\;1)$

σ

$\sigma$

σ^{2}

$\sigma^2$

あなたの第二の点については、私は上記の式は、あなたが除算に持っていることを示していると信じているではなくあなたが使用理由を説明し、式を標準化する（の推定していない。 $\sigma$ $\sqrt{\sigma}$ $s_n$ $\sigma)$ $\sqrt{s_n}$

追加： @whuberはによるスケーリングの理由を議論することを提案します。彼はそこでそれをしますが、答えは非常に長いので、私は彼の議論の本質を捉えようとします（これはド・モアブルの思考の再構成です）。 $\sqrt{n}$

+1と-1を多数追加する場合、基本的なカウントによって合計がなる確率を概算できます。この確率の対数は比例します。したがって、が大きくなるにつれて上記の確率が定数に収束するようにするには、正規化係数を使用する必要があります。 $n$ $j$ $-j^2/n$ $n$ $O(\sqrt{n})$

最新の（ポストドモワール）数学的ツールを使用すると、求められる確率が

P (j) = \frac{(\binom{n}{n / 2 + j})}{2^{n}} = \frac{n!}{2^{n} (n / 2 + j)! (n / 2 - j)!}

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

これをスターリングの式で近似します

P (j) \approx \frac{n^{n} e^{n / 2 + j} e^{n / 2 - j}}{2^{n} e^{n} (n / 2 + j)^{n / 2 + j} (n / 2 - j)^{n / 2 - j}} = {(\frac{1}{1 + 2 j / n})}^{n + j} {(\frac{1}{1 - 2 j / n})}^{n - j} .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

\log (P (j)) = - (n + j) \log (1 + 2 j / n) - (n - j) \log (1 - 2 j / n) \sim - 2 j (n + j) / n + 2 j (n - j) / n \propto - j^{2} / n .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
ソース

マイケルC.と男による以前の回答に対する私のコメントをご覧ください。

— whuber

最初の方程式（LL CLT）s / b？それは、が分散として現れることも私を混乱させました。

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, 1)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ^{2}

$\sigma^2$

— B_Miner

平均と分散（標準偏差ではない）でガウスをパラメーター化すると、OPの式は正しいと思います。

— gui11aume

1

ああ、。我々は乗算場合によって我々は（OPで示されたものを手に入れるキャンセル）：つまり。しかし、VAR（aX）= a ^ 2Var（X）で、この場合a =およびVar（X）が1であるため、分布は。

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ} \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ

$\sigma$

σ

$\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ^{2}

$\sigma^2$

N (0, σ^{2})

$\mathcal{N}(0,\;\sigma^2)$

— B_Miner

グイ、手遅れではない場合、私はこれが正しいことを確認したかった。我々は仮定した場合そして、定数（）、この量の期待値（すなわち）、これはゼロでしたが、E [aX] = a * E [X] => * 0 = 0なので、ゼロのままです。これは正しいです？

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} (\bar{X} - μ) \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ

$\sigma$

\sqrt{n} (\bar{X} - μ)

$\sqrt{n} ({\bar{X} - \mu})$

σ

$\sigma$

— B_Miner

8

ランダム変数の合計の分布を制限できる分布の種類については、素晴らしい理論があります。素晴らしいリソースは、私が個人的に非常に楽しんだペトロフによる次の本です。

それはあなたがこのタイプの限界を調査している場合こと、判明独立した確率変数であるが、限界値の分布があります特定のディストリビューションのみ。

\frac{1}{a_{n}} \sum_{i = 1}^{n} X_{n} - b_{n}, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

X_{i}

$X_i$

その後、多くの数学があり、限界で起こることを完全に特徴付けるいくつかの定理に沸騰します。そのような定理の1つはFellerによるものです：

定理レッツ独立確率変数の配列であり、分布関数で、及び正の定数のシーケンスです。そのために $\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max_{1 \leq k \leq n} P (| X_{k} | \geq ε a_{n}) \to 0, for every fixed ε > 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

そして

sup_{x} | P (a_{n}^{- 1} \sum_{k = 1}^{n} X_{k} < x) - Φ (x) | \to 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

それが必要かつ十分である

\sum_{k = 1}^{n} \int_{| x | \geq ε a_{n}} d V_{k} (x) \to 0 for every fixed ε > 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

a_{n}^{- 2} \sum_{k = 1}^{n} (\int_{| x | < a_{n}} x^{2} d V_{k} (x) - {(\int_{| x | < a_{n}} x d V_{k} (x))}^{2}) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

そして

a_{n}^{- 1} \sum_{k = 1}^{n} \int_{| x | < a_{n}} x d V_{k} (x) \to 0.

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

この定理により、がどのように見えるかがます。 $a_n$

本の一般理論は、ノルム定数が何らかの形で制限されるように構築されていますが、必要十分条件を与える最終定理は、以外のノルム定数の余地を残しません。 $\sqrt{n}$

— mpiktas
ソース

4

sは、標本平均の標本標準偏差を表します。sは標本平均の標本分散で、S / nに等しくなります。ここで、Sは母分散のサンプル推定です。s = S /√n なので、√nが最初の式にどのように現れるかを説明します。限界が以下の場合、分母にσがあることに注意してください $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N（0,1）が、制限はN（0、σ）として与えられます。Sはσの一貫した推定値であるため、σを制限から外すために第2方程式で使用されます。 $^2$ $_n$

— マイケル・R・チャーニック
ソース

質問の他の（より基本的で重要な）部分についてはどうでしょうか。なぜであり、他の分散の尺度ではないのですか？

s_{n}

$s_n$

— whuber

@whuberそれは議論の余地があるかもしれませんが、それは質問の一部ではありませんでした。OP は、CLTの式にsと√nが現れる理由を知りたいだけです。もちろん、Sは、σに対して一貫性があり、CLTのその形式ではσが削除されるため、そこにあります。

_{n}

$_n$

_{n}

$_n$

— マイケルR.チャーニック

1

が存在することは、「一貫している」ため、はまったくわかりません。なぜそれは、を使用して極端な値の統計値を正規化する必要があることを意味しないのでしょうか？シンプルで自明の何かが欠けていますか？そして、OPをエコーするために、なぜ使用しないでください- 結局のところ、それは一貫しています！

s_{n}

$s_n$

σ

$\sigma$

s_{n}

$s_n$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{σ}

$\sqrt{\sigma}$

— whuber

前述の定理はN（0,1）に収束するため、σを知って使用するか、Slutskyの定理で機能する一貫した推定値を使用する必要があります。私はそれが不明瞭でしたか？

— マイケルR.チャーニック

あなたが不明瞭だったとは思わない。重要な点が欠けていると思います。結局、多くの分布では、代わりにIQRを使用して制限正規分布を取得できますが、結果はそれほどきれいではありません（制限分布のSDは開始分布に依存します）。私は、これを呼び出して説明するに値することを提案しているだけです。遭遇するすべてのディストリビューションを標準化した40年によって開発された直感を持たない人には、それほど明白ではありません！

s_{n}

$s_n$

— whuber

2

直観的に、がいくつかのである場合、はほぼ等しいと予想されるはずです。私はそれが一般的に必要であるとは思わないけれども、それはかなり合理的な期待のように思われる。最初の式のの理由は、の分散がようになるため、が分散を膨張させ、式の分散が。2番目の式では、用語はと定義されます $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ $\sqrt n$ $\bar X_n - \mu$ $0$ $\frac 1 n$ $\sqrt n$ $\sigma^2$ $s_n$ $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ 分子の分散はように増加するため、式全体の分散は定数（この場合は）になります。 $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

基本的に、の分布で何か「面白い」ことが起こっていることを知っていますが、適切におよびスケーリングしないと、それを見ることができません。これは、顕微鏡の調整が必要であると説明されることもあります。私たちが爆破されない場合は（例えば）によって、我々はただ持っている弱い法律で配布中。それ自体が興味深い結果ですが、CLTほど有益ではありません。が支配的な要因で膨張させた場合、が得られますが、を支配する要因 $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ $\sqrt n$ 与え。それは判明のノート（このケースでは何が起こっているかを見ることができるようにちょうど右の倍率である：ここでのすべての収束が分布している、上昇を与え、ほぼ必ず収束に興味深いです倍率の別のレベルがあり、反復対数の法則へ）。 $a_n(\bar X_n - \mu) \to \infty$ $\sqrt n$

— 男
ソース

4

最初に対処する必要があるより基本的な質問は、SDを使用して分散を測定する理由です。なぜ絶対中央のいくつかの他の値に対するモーメント？または、なぜIQRまたはその親relativeのいずれかではありませんか？それに答えると、共分散の単純なプロパティはすぐに依存性を与えます（@ Gui11aumeが最近説明したように）

k^{th}

$k^\text{th}$

k

$k$

\sqrt{n}

$\sqrt{n}$

— whuber

1

@whuber同意します。これが、これをヒューリスティックとして提示した理由です。聞きたいのですが、簡単な説明が受け入れられるかどうかはわかりません。私にとって、「二乗項は、平均値を差し引いた後の特性関数のテイラー展開の関連項だから」という、より単純で説明可能な理由があるかどうかはわかりません。

— 男