いくつかの異なるコンテキストで、中央限界定理を呼び出して、採用したい統計的方法を正当化します（たとえば、二項分布を正規分布で近似します）。私は定理が真である理由に関する技術的な詳細を理解していますが、中央極限定理の背後にある直感を本当に理解していないことに気づきました。

それでは、中心極限定理の背後にある直観は何ですか？

レイマンの説明が理想的です。技術的な詳細が必要な場合は、pdf、cdf、ランダム変数などの概念を理解しているが、収束の概念、特性関数、または測定理論に関係する知識はないと仮定してください。

この投稿の長さについて事前に謝罪します。それを読むのにいくらかの時間と注意を要し、間違いなくタイポグラフィの間違いと説明の失hasがあるので、私はそれを公に公表したことを少し恐れています。しかし、ここでは、魅力的なトピックに興味がある人のために、CLTの多くの部分の1つ以上を特定して、独自の応答をさらに詳しく説明することをお勧めします。

---

CLTを「説明」しようとするほとんどの試みは、それが真実であると主張する実例または単なる修正です。本当に深く正確な説明をするには、非常に多くのことを説明する必要があります。

これをさらに見る前に、CLTが何を言っているのかを明確にしましょう。 ご存知のように、一般性が異なるバージョンがあります。共通のコンテキストは、一連のランダム変数です。これは、共通の確率空間上の特定の種類の関数です。直観的な説明を厳密に行うには、確率空間を区別可能なオブジェクトのあるボックスと考えると便利です。それらのオブジェクトが何であるかは関係ありませんが、私はそれらを「チケット」と呼びます。チケットを完全に混ぜ合わせて1つを引き出すことにより、ボックスの1つの「観察」を行います。そのチケットは観察を構成します。後で分析するために記録した後、チケットを箱に戻し、その内容が変更されないようにします。「ランダム変数」は、基本的に各チケットに書かれた数字です。

1733年、アブラハム・ド・モアブルは、チケットの数字がゼロと1のみである単一の箱のケースを検討し（「ベルヌーイ裁判」）、各数字の一部が存在しました。彼は物理的に独立した観測を行い、値シーケンスを生成することを想像しました。これらはすべてゼロまたは1です。これらの値の合計は、合計の項が異なるためランダムです。私たちは何度もこの手順を繰り返すことができればそのため、様々な合計（の範囲の整数を通じて合計の割合- ）様々な周波数が表示されます。（以下のヒストグラムを参照してください。）$n$$x_1, x_2, \ldots, x_n$$y_n = x_1 + x_2 + \ldots + x_n$$0$$n$

ここで、値が非常に大きい場合、すべての周波数が非常に小さくなることが予想されます。「制限を取得」または「を移動」しようとするほど大胆な（または愚かな）場合、すべての周波数が減少すると正しく結論付けられ。しかし、軸のラベル付け方法に注意を払わずに、単に頻度のヒストグラムを描くと、大きなのヒストグラムはすべて同じように見えることがわかります。ある意味では、これらのヒストグラムは頻度にかかわらず限界に近づきます。それ自体はすべてゼロになります。$n$$n$$\infty$$0$$n$

これらのヒストグラムは、を取得する手順を何度も繰り返した結果を示しています。は、タイトルの「試行回数」です。$y_n$$n$

ここでの洞察は、最初にヒストグラムを描画し、後でその軸にラベルを付けることです。が大きいと、ヒストグラムは（水平軸上）を中心とする大きな値の範囲と、（垂直軸上の）わずかに小さい値の間隔をカバーします。これは、個々の周波数が非常に小さくなるためです。したがって、この曲線をプロット領域に当てはめるには、ヒストグラムのシフトと再スケーリングの両方が必要です。これの数学的な説明は、ごとに中心値（必ずしも一意ではない！）を選択して、ヒストグラムといくつかのスケール値$n$$n/2$$n$$m_n$$s_n$（必ずしも一意ではありません！）軸内に収まるようにします。これは、を変更することで数学的に実行できます。$y_n$$z_n = (y_n - m_n) / s_n$

ヒストグラムは、そのヒストグラムと水平軸の間の領域で頻度を表すことに注意してください。 したがって、値が大きい場合のこれらのヒストグラムの最終的な安定性は、面積の観点から述べる必要があります。$n$ そのため、たとえばからまでの任意の値の間隔を選択し、が増加するにつれて、間隔水平に広がるのヒストグラムの一部の領域を追跡します。物事：$a$$b \gt a$$n$$z_n$$(a, b]$

1. とが何で$a$$b$ても、シーケンスと（またはにまったく依存しない方法で）適切に選択すると、が大きくなるにつれてこの領域は実際に制限に近づきます。$m_n$$s_n$$a$$b$$n$

2. シーケンスおよびは、、ボックス内の値の平均、およびそれらの値の広がりの尺度のみに依存する方法で選択できますが、それ以外には何もありません。 、制限は常に同じです。（この普遍性のプロパティは素晴らしいです。）$m_n$$s_n$$n$

3. 特に、その制限領域は、と間の曲線下の領域です。これは、その普遍的な制限ヒストグラムの公式です。$y = \exp(-z^2/2) / \sqrt{2 \pi}$$a$$b$

   CLTの最初の一般化により、

4. ボックスに0と1に加えて数字を含めることができる場合、まったく同じ結論が成り立ちます（ボックス内の極端に大きいまたは小さい数字の割合が「大きすぎない」、正確かつ単純な定量的ステートメントを持つ基準である場合） 。

   次の一般化、そしておそらく最も驚くべきものは、チケットのこの単一のボックスを、チケット付きの注文された無期限に長いボックスの配列に置き換えます。各ボックスのチケットには、異なる割合で異なる番号を付けることができます。観測は、最初のボックスからチケットを描画することによって行われ、は2番目のボックスから来るというように続きます。$x_1$$x_2$

5. 箱の中身が「あまり大きくない」という条件であれば、まったく同じ結論が成り立ちます（「あまり大きくない」という意味の正確であるが異なる定量的特徴がいくつかあり、驚くほどの緯度を許容します）。

これらの5つのアサーションは、少なくとも説明する必要があります。 他にもあります。セットアップのいくつかの興味深い側面は、すべてのステートメントで暗黙的です。例えば、

• 合計の特別な点は何ですか？積や最大値など、数の他の数学的な組み合わせの中心極限定理がないのはなぜですか？（実際にはそうであることがわかりますが、それらはそれほど一般的ではなく、CLTに還元できない限り、常にそのようなクリーンで単純な結論を出すわけでもありません。）およびのシーケンスは一意ではありませんが、ほとんど一意です最終的に、チケットの合計の期待値と合計の標準偏差をそれぞれ近似する必要があるという意味で（CLTの最初の2つのステートメントでは、倍のボックス）。 $m_n$$s_n$$n$$\sqrt{n}$

  標準偏差は、値の広がりの尺度の1つですが、決して唯一のものではなく、歴史的にも多くのアプリケーションにとっても最も「自然」です。（たとえば、多くの人は、中央値からの絶対偏差の中央値のようなものを選択します。）

• SDがこのような本質的な方法で表示されるのはなぜですか？

• 制限ヒストグラムの式を考えてみましょう。誰がそのような形をとると予想していましたか？確率密度の対数は二次関数である と言います。どうして？これについて、直感的または明確で説得力のある説明はありますか？

---

スリカントの直観性とシンプルさに対する挑戦的な基準を満たすのに十分なシンプルな答えを提供するという究極の目標に到達することはできないと告白しますが、他の人が多くのギャップを埋めるためにインスピレーションを受けることを期待して、この背景をスケッチしました。良いデモンストレーションは、最終的に合計を形成する際にと間の値がどのように発生するかについての要素分析に依存する必要があると思います。CLTのシングルボックスバージョンに戻ると、対称分布の場合は処理が簡単です。その中央値はその平均に等しいため、がボックスの平均よりも小さくなる確率は50％、$\alpha_n = a s_n + m_n$$\beta_n = b s_n + m_n$$x_1 + x_2 + \ldots + x_n$$x_i$$x_i$その平均よりも大きくなります。さらに、が十分に大きい場合、平均からの正の偏差は平均の負の偏差を補償するはずです。（これには、手を振るだけでなく、いくつかの慎重な正当化が必要です。）したがって、主に正と負の偏差の数を数えることを懸念する必要があります。$n$ （ここで書いたすべてのことの中で、これはCLTが機能する理由についての直観を提供するのに最も役立つかもしれません。実際、CLTの一般化を真にするために必要な技術的仮定は、本質的にまれに大きな偏差が生じると、限界ヒストグラムが発生しないようにバランスが崩れます。

これは、とにかくある程度、CLTの最初の一般化が、ドモイヴルの元のベルヌーイ試用版になかったものを実際に明らかにしない理由を示しています。

この時点では、少しの数学を行う以外には何もありません。平均からの正の偏差の数が負の偏差の数と所定の値だけ異なる明確な方法の数を数える必要があります、明らかに$k$$k$$-n, -n+2, \ldots, n-2, n$

$$\text{The number of ways to obtain } k \text{ positive and } n-k \text{ negative values out of } n$$

$$\text{equals } \frac{n-k+1}{k}$$

$$\text{times the number of ways to get } k-1 \text{ positive and } n-k+1 \text { negative values.}$$

$k$$n/2$$m = n/2$$m+j+1$$j \ge 0$

$$\frac{m+1}{m+1} \frac{m}{m+2} \cdots \frac{m-j+1}{m+j+1}$$

$$=\frac{1 - 1/(m+1)}{1 + 1/(m+1)} \frac{1-2/(m+1)}{1+2/(m+1)} \cdots \frac{1-j/(m+1)}{1+j/(m+1)}.$$

ド・モアブルが執筆する135年前に、ジョン・ネイピアは乗算を単純化するために対数を発明したので、これを利用しましょう。近似を使用する

$$\log\left(\frac{1-x}{1+x}\right) \sim -2x,$$

相対頻度の対数はおよそ

$$-2/(m+1) - 4/(m+1) - \cdots - 2j/(m+1) = -\frac{j(j+1)}{m+1} \sim -\frac{j^2}{m}.$$

$j^4/m^3$$j^4$$m^3$$j$$j$$\sqrt{m}$$m^{3/4}$

---

$s_n$$\sqrt{n}$$j^2/m = 2 j^2 / n = 2 (j/\sqrt{n})^2$

私が知っている素敵なアニメーション：http : //www.ms.uky.edu/~mai/java/stat/GaltonMachine.html

私が読んだ最も簡単な言葉：http : //elonen.iki.fi/articles/centrallimit/index.en.html

これらの10回のスローの結果を合計すると、最大値の60（すべて6）または最小値の10（すべて1）よりも30〜40近くになります。

これは、極端な方法よりもはるかに多くの方法で中間値を取得できるためです。例：2つのサイコロを投げる場合：1 + 6 = 2 + 5 = 3 + 4 = 7、ただし1 + 1 = 2と6 + 6 = 12のみ。

つまり、1つのサイコロを投げるときに6つの数字のいずれかを等しく獲得したとしても、数個のサイコロの合計の中間値よりも極端な可能性は低くなります。

直感は扱いにくいものです。私たちの手の後ろに縛られた理論では、さらにトリッキーです。

CLTはすべて、小さな独立した外乱の合計に関するものです。サンプルの意味での「合計」は、（母集団の）有限分散の意味での「小さな」、および中央（母集団）値の周りのプラス/マイナスの意味での「外乱」を意味します。

私にとって、直観に最も直接訴えるデバイスはクインカンクス、または「ガルトンボックス」です。ウィキペディア（「ビーンマシン」の場合）を参照してください。アイデアは、格子で飾られたボードの表面に小さなボールを転がすことです。等間隔のピン。途中でボールは左右に迂回し（...ランダムに、独立して）、底に集まります。時間が経つにつれて、目の前に素敵なベル型のマウンドが見えます。

CLTは同じことを言っています。これはこの現象の数学的な記述です（より正確には、五点形は二項分布の正規近似の物理的証拠です）。大まかに言って、CLTは、人口が過度に誤動作していない限り（つまり、PDFの尾が十分に薄い場合）、サンプルの平均（適切にスケーリングされた）は、小さなボールが顔を跳ね返すように振る舞うと言います五つ角形：時々左に落ち、時には右に落ちますが、ほとんどの場合、真ん中にちょうどいいベルの形で着陸します。

（私にとって）CLTの威厳は、基礎となる人口の形が無関係であるということです。形状は、（サンプルサイズの意味で）待機する必要がある時間の長さを委任する場合にのみ役割を果たします。

$$S = X_1 + X_2 + \ldots + X_n$$

$S$

$n$$n=\infty$

$S/n$

統計における中央極限定理のすべての「神聖さ」により、その限界はしばしば見過ごされがちです。以下に、コースの2つのスライドを示します。実際の使用例で、CLTがテールで完全に失敗することを示しています。残念ながら、多くの人々は、CLTを使用して、テールの確率を故意にまたはその他の方法で推定します。

この答えは、簡単な微積分法（3次のテイラー展開）を使用して、中心極限定理の直感的な意味を与えることを望んでいます。概要は次のとおりです。

1. CLTの言うこと
2. 単純な計算を使用したCLTの直感的な証明
3. なぜ正規分布なのか？

最後に正規分布について言及します。正規分布が最終的に現れるという事実は、あまり直感的ではないからです。

1.中心極限定理は何と言っていますか？CLTのいくつかのバージョン

$x$$X_1,\cdots,X_n$

$$P\left(\frac{X_1+\cdots+X_n}{\sqrt n} \le x\right) \to_{n\to+\infty} \int_{-\infty}^x \frac{e^{-t^2/2}}{\sqrt{2\pi}} dt.$$ $X_1.,\ldots,X_n$$Z_1,\ldots,Z_n$ $$E \left[ f\left(\tfrac{X_1+\cdots+X_n}{\sqrt n}\right) \right] - E \left[ f\left(\tfrac{Z_1+\cdots+Z_n}{\sqrt n}\right) \right] \to_{n\to+\infty} 0$$ $f$$x$ $$\begin{equation} f(t) = \begin{cases} 1 \text{ if } t < x \\ 0 \text{ if } t\ge x.\end{cases} \end{equation}$$ $X_1,\ldots,X_n$$Z_1,\ldots,Z_n$、ランダム変数が平均ゼロ、分散1で独立している場合。

$k$$X_1,\ldots,X_n$$Z_1,\ldots,Z_n$$f$

$$E \left[ f\left(\tfrac{X_1+\cdots+X_n}{\sqrt n}\right) \right] - E \left[ f\left(\tfrac{Z_1+\cdots+Z_n}{\sqrt n}\right) \right] \to_{n\to+\infty} 0 \tag{CONV}$$

以下のステートメント間で同等性（「if and only if」）を確立することができます。

1. $f$$f(t)=1$$t < x$$f(t)=0$$t\ge x$$x$
2. $f:R\to R$
3. $C^{\infty}$
4. $f$$\sup_{x\in R} |f'''(x)| \le 1$

上記の4つの各点は、大規模なクラスの関数に対して収束が成立することを示しています。技術的な近似の議論により、上記の4つのポイントが同等であることを示すことができます。DavidPollardの著書Aユーザーガイドの77ページの第7章を参照して、この答えが非常に刺激された理論的確率を測定してください。

この答えの残りの私たちの仮定...

と仮定します 上記のポイント4に対応する定数。また、ランダム変数には有限の制限された3次モーメントがあると仮定しますおよび は有限です。$\sup_{x\in R} |f'''(x)| \le C$$C>0$$E[|X_i|^3]$$E[|Z_i|^3]$

2.は普遍的です：分布に依存しません$E\left[ f\left( \tfrac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$$X_1,...,X_n$

独立したランダム変数のどのコレクションが提供されたかに依存しないという意味で、この量が普遍的であることを示しましょう（小さな誤差項まで）。テイクと独立した確率変数の二つの配列、平均0、分散1、および有限の第三モーメントがそれぞれに。$X_1,\ldots,X_n$$Z_1,\ldots,Z_n$

アイデアは、量の1つでをで繰り返し置き換え、基本的な計算によって違いを制御することです（このアイデアはLindebergによるものだと思います）。テイラー展開により、で、場合、 ここでおよび$X_i$$Z_i$$W = Z_1+\cdots+Z_{n-1}$$h(x)=f(x/\sqrt n)$

$$\begin{align} h(Z_1+\cdots+Z_{n-1}+X_n) &= h(W) + X_n h'(W) + \frac{X_n^2 h''(W)}{2} + \frac{X_n^3/h'''(M_n)}{6} \\ h(Z_1+\cdots+Z_{n-1}+Z_n) &= h(W) + Z_n h'(W) + \frac{Z_n^2 h''(W)}{2} + \frac{Z_n^3 h'''(M_n')}{6} \\ \end{align}$$ $M_n$$M_n'$は、平均値定理によって与えられる中間点です。と独立性により、および2行目も同様です。再び独立性により、二次項は予想と同じです。残りの用語は3次のものだけであり、2行の差は最大で ここで、は 3次導関数の上限です。分母が表示されるのは、$X_n$$W$$E[X_n h'(W)]= E[X_n] E[h'(W)] =0$

$$\frac{(C/6)E[ |X_n|^3 + |Z_n|^3 ]}{(\sqrt n)^3}.$$ $C$$f'''$$(\sqrt{n})^3$$h'''(t) = f'''(t/\sqrt n)/(\sqrt n)^3$。独立性により、合計におけるの寄与は無意味です。これは、上記の表示よりも大きなエラーをことなくに置き換えることができるためです。$X_n$$Z_n$

をに置き換えることを繰り返します。もし次いで の独立性によりと、との独立性により、と$X_{n-1}$$Z_{n-1}$$\tilde W= Z_1+Z_2+\cdots+Z_{n-2} + X_n$

$$\begin{align} h(Z_1+\cdots+Z_{n-2}+X_{n-1}+X_n) &= h(\tilde W) + X_{n-1} h'(\tilde W) + \frac{X_{n-1}^2 h''(\tilde W)}{2} + \frac{X_{n-1}^3/h'''(\tilde M_n)}{6}\\ h(Z_1+\cdots+Z_{n-2}+Z_{n-1}+X_n) &= h(\tilde W) + Z_{n-1} h'(\tilde W) + \frac{Z_{n-1}^2 h''(\tilde W)}{2} + \frac{Z_{n-1}^3/h'''(\tilde M_n)}{6}. \end{align}$$ $Z_{n-1}$$\tilde W$$X_{n-1}$$\tilde W$、再び、0次、1次、および2次の項は、両方の行の期待値で等しいです。2行間の期待値の差は、多くても すべてのを置き換えるまで繰り返します。ステップのそれぞれで行われたエラーを追加することにより、を取得します として

$$\frac{(C/6)E[ |X_{n-1}|^3 + |Z_{n-1}|^3 ]}{(\sqrt n)^3}.$$ $Z_i$$X_i$$n$ $$\Big| E\left[ f\left( \tfrac{X_1+\cdots+X_n}{\sqrt n} \right) \right]-E\left[ f\left( \tfrac{Z_1+\cdots+Z_n}{\sqrt n} \right) \right] \Big| \le n \frac{(C/6)\max_{i=1,\ldots,n} E[ |X_i|^3 + |Z_i|^3 ]}{(\sqrt n)^3}.$$ $n$またはランダム変数の3番目のモーメントが有限である場合、右辺は任意に小さくなります（そうだと仮定しましょう）。これは、分布がの分布から離れていても、左側の期待値が互いに任意に近いことをます。独立性により、合計内の各の寄与は、より大きいエラーを発生さことなくに置き換えることができるため、無意味です。 そして、すべての置換「での s」は以上に量を変化させない。$X_1,\ldots,X_n$$Z_1,\ldots,Z_n$$X_i$$Z_i$$O(1/(\sqrt n)^3)$$X_i$$Z_i$$O(1/\sqrt n)$

したがって、期待値は普遍的であり、分布に依存しません。一方、独立性とは、上記の境界にとって最も重要でした。$E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$$X_1,\ldots,X_n$$E[X_i]=E[Z_i]=0,E[Z_i^2]=E[X_i^2]=1$

3.なぜ正規分布なのですか？

期待値は、の分布が何であれ、同じであることがました。オーダー小さなエラー。$E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$$X_i$$O(1/\sqrt n)$

しかし、アプリケーションの場合、そのような量を計算すると便利です。この量より単純な式を取得することも有用です。$E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$

この量はどのコレクションでも同じであるため、分布が計算しやすく、または覚えやすいように、特定のコレクションを1つ選択するだけです。$X_1,\ldots,X_n$$(X_1+\cdots+X_n)/\sqrt n$

正規分布場合、この量は本当に単純になることがあります。実際、が場合、も分布を持ち、依存しません！したがって、場合、 そして独立確率変数の任意のコレクションのための上記の引数によってと、次いで$N(0,1)$$Z_1,\ldots,Z_n$$N(0,1)$$\frac{Z_1+\cdots+Z_n}{\sqrt n}$$N(0,1)$$n$$Z\sim N(0,1)$

$$E\left[ f\left( \frac{Z_1+\cdots+Z_n}{\sqrt n} \right) \right] = E[ f(Z)],$$ $X_1,\ldots,X_n$$E[X_i]=0,E[X_i^2]=1$

$$\left| E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right] -E[f(Z) \right| \le \frac{\sup_{x\in R} |f'''(x)| \max_{i=1,\ldots,n} E[|X_i|^3 + |Z|^3]}{6\sqrt n}.$$

私は直感的なバージョンを思い付くのをあきらめ、いくつかのシミュレーションを思いつきました。Quincunxのシミュレーションを提供するものと、被験者ごとに十分なRTを収集した場合に、歪んだ生の反応時間分布がどのように正規になるかを示すようなものを行う他のものがあります。彼らは助けになると思いますが、今年の私のクラスでは新しく、最初のテストはまだ採点していません。

私が良かったと思うことの1つは、多数の法則も示すことができたことです。サンプルサイズが小さい場合に変数がどのように変化するかを示し、大きなサンプルでどのように変化するかを示すことができます。他にも多数のデモを行っています。ランダムプロセスの数とサンプルの数の間のQuincunxでの相互作用を示すことができます。

（私のクラスでチョークまたはホワイトボードを使用できないことは幸運だったかもしれません）

ランダム分布の多くのヒストグラムを一緒に追加すると、個々のヒストグラムのすべてがすでにその形状を持っているため、正規分布の形状を維持するか、大きなヒストグラムを追加すると個々のヒストグラムの変動が互いに打ち消し合うため、その形状を取得しますヒストグラムの数。1つの変数のランダム分布のヒストグラムは、すでに一般的に分布しているため、人々は正規分布を呼び出し始めています。これは、中心変数の定理の縮図です。

これはすべてではありませんが、直感的に理解できると思います。