シミュレーションで中央極限定理が壊れるのはなぜですか？

次の番号があるとしましょう：

4,3,5,6,5,3,4,2,5,4,3,6,5

そのうちのいくつか、たとえば5つをサンプリングし、5つのサンプルの合計を計算します。その後、何度も繰り返して多くの合計を取得し、ヒストグラムに合計の値をプロットします。これは、中心極限定理によるガウス分布になります。

しかし、彼らが数字に続いているとき、私は4をいくつかの大きな数字に置き換えました。

4,3,5,6,5,3,10000000,2,5,4,3,6,5

これらからの5つのサンプルの合計をサンプリングしても、ヒストグラムではガウス分布になることはありませんが、スプリットのようになり、2つのガウス分布になります。何故ですか？

正確に、中心極限定理が言っていることを思い出しましょう。

場合独立しており、（共有）の平均と同一分布確率変数と標準偏差、次には、分布が標準正規分布（*）に収束します。$X_1, X_2, \cdots, X_k$$\mu$$\sigma$$\frac{X_1 + X_2 + \cdots + X_k}{k\frac{\sigma}{\sqrt{k}}}$$N(0, 1)$

これは、「非公式」形式でよく使用されます。

場合（共有される）の平均を有する独立同一分布確率変数でと標準偏差、次いで「分布の」標準正規分布に収束。$X_1, X_2, \cdots, X_k$$\mu$$\sigma$$X_1 + X_2 + \cdots + X_k$$N(k \mu, \sqrt{k} \sigma)$

「制限」分布が変化するため、その形式のCLTを数学的に正確にする良い方法はありませんが、実際には役立ちます。

次のような数値の静的リストがある場合

4,3,5,6,5,3,10000000,2,5,4,3,6,5

そして、このリストからランダムに数を取ってサンプリングします。中心極限定理を適用するには、サンプリングスキームがこれらの2つの独立性と同一の分散条件を満たすことを確認する必要があります。

• 同一に分布していても問題はありません。リスト内の各数字が等しく選択される可能性があります。
• 独立はより微妙であり、サンプリングスキームに依存します。置換なしでサンプリングする場合、独立性に違反します。中心極限定理が適用されるのは、交換でサンプリングするときだけです。

したがって、スキームで置換サンプリングを使用する場合、中心極限定理を適用できるはずです。同時に、サンプルのサイズが5の場合、サンプルで非常に大きな数が選択されているか、選択されていないかに応じて、非常に異なる動作が見られます。

それで、摩擦は何ですか？さて、正規分布への収束速度は、サンプリングする母集団の形状に大きく依存します。特に、母集団が非常にゆがんでいる場合、正規分布への収束に時間がかかることが予想されます。この例ではこれが当てはまるため、サイズ5のサンプルが通常の構造を示すのに十分であることを期待すべきではありません。

上記では、サイズ5、100、および1000のサンプルに対して（置換サンプリングを使用して）実験を繰り返しました。非常に大きなサンプルでは、​​通常の構造が出現していることがわかります。

（*）有限平均や分散など、ここで必要ないくつかの技術的条件があることに注意してください。これらは、リストの例からのサンプリングで真であることが簡単に検証されます。

一般に、CLT近似が適切であるためには、各サンプルのサイズはより大きい必要があります。経験則は、サイズが以上のサンプルです。しかし、最初の例の母集団では、は問題ありません。$5$$30$$5$

pop <- c(4, 3, 5, 6, 5, 3, 4, 2, 5, 4, 3, 6, 5)
N <- 10^5
n <- 5
x <- matrix(sample(pop, size = N*n, replace = TRUE), nrow = N)
x_bar <- rowMeans(x)
hist(x_bar, freq = FALSE, col = "cyan")
f <- function(t) dnorm(t, mean = mean(pop), sd = sd(pop)/sqrt(n))
curve(f, add = TRUE, lwd = 2, col = "red")

2番目の例では、人口分布の形状（1つには偏りがありすぎます。男とGlen_bのコメントを読んでください）から、サイズサンプルでも、分布の適切な近似が得られません。サンプルは、CLTを使用することを意味します。$30$

pop <- c(4, 3, 5, 6, 5, 3, 10000000, 2, 5, 4, 3, 6, 5)
N <- 10^5
n <- 30
x <- matrix(sample(pop, size = N*n, replace = TRUE), nrow = N)
x_bar <- rowMeans(x)
hist(x_bar, freq = FALSE, col = "cyan")
f <- function(t) dnorm(t, mean = mean(pop), sd = sd(pop)/sqrt(n))
curve(f, add = TRUE, lwd = 2, col = "red")

しかし、この2番目の母集団では、たとえばサイズサンプルで十分です。$100$

pop <- c(4, 3, 5, 6, 5, 3, 10000000, 2, 5, 4, 3, 6, 5)
N <- 10^5
n <- 100
x <- matrix(sample(pop, size = N*n, replace = TRUE), nrow = N)
x_bar <- rowMeans(x)
hist(x_bar, freq = FALSE, col = "cyan")
f <- function(t) dnorm(t, mean = mean(pop), sd = sd(pop)/sqrt(n))
curve(f, add = TRUE, lwd = 2, col = "red")

複雑なキュムラント生成関数を使用して、誰もがこれを歪曲している理由を説明したいと思います。

サンプリングする確率変数をとして記述します。ここで、は平均、は標準偏差であるため、平均はで分散はです。のキュムラント生成関数はです。ここで、はのスキューを示します。元の変数のスキューに関して記述できます。つまり、。$\mu+\sigma Z$$\mu$$\sigma$$Z$$0$$1$$Z$$-\frac{1}{2}t^2-\frac{i\gamma_1}{6}t^3+o(t^3)$$\gamma_1$$Z$$\kappa_3$$\mu+\sigma Z$$\gamma_1=\sigma^{-3}\kappa_3$

の分布のサンプルの合計をで割ると、結果はcgfグラフが正しく見えるように十分に大きいで有効に正規近似を行うには、十分に大きいが必要です。この計算は、動機付けます。検討した2つのサンプルの値は大きく異なります。$n$$Z$$\sqrt{n}$

簡単に言えば、中心極限定理を適用するのに十分なサンプルがありません。