サンプルサイズを大きくすると（サンプリング）分散が小さくなるのはなぜですか？

大局：

サンプルサイズを増やすと実験の力がどのように増加するかを理解しようとしています。私の講師のスライドは、2つの正規分布の図で説明します。1つは帰無仮説、もう1つは対立仮説とその間の決定しきい値cです。彼らは、サンプルサイズを大きくすると分散が低下し、それにより尖度が高くなり、曲線下の共有領域が減少し、タイプIIエラーの確率が低下すると主張しています。

小さい画像：

サンプルサイズを大きくすると分散がどのように低下​​するかわかりません。
サンプルの分散を計算し、正規分布のパラメーターとして使用することを想定しています。

私は試した：

• グーグル、しかし、ほとんどの受け入れられた答えは0の賛成票を持っているか、単なる例
• 思考：大きい数の法則により、すべての値は最終的に、想定される正規分布に従ってその推定値を中心に安定するはずです。したがって、分散は、想定した正規分布の分散に収束するはずです。しかし、その正規分布の分散とは何ですか？それは最小値ですか？つまり、サンプル分散がその値まで減少することを確認できますか？

平均の標準偏差は、個々の観測値の標準偏差よりも小さくなっています。[ここでは、有限の母分散を持つ独立に同一に分布した観測を仮定します。最初の2つの条件を緩和すると、同様のことが言えます。]

これは、2つのランダム変数の合計の標準偏差が標準偏差の合計よりも小さいという単純な事実の結果です（2つの変数が完全に相関している場合にのみ等しくなる可能性があります）。

実際、相関のないランダム変数を扱う場合、より具体的なことを言うことができます。変数の合計の分散は、分散の合計です。

これは、同じ分布をもつ独立した（または単に相関のない）変量では、平均の分散は標本サイズで除した個人の分散であることを意味します。$n$

同様に、同じ分布をもつ独立した（または単に相関のない）変量がある場合、それらの平均の標準偏差は、個体の標準偏差をサンプルサイズの平方根で除算したものです。$n$

$\sigma_{\bar{X}}=\sigma/\sqrt{n}$。

したがって、データを追加すると、グループ平均のより正確な推定値が得られます。同様の効果が回帰問題に適用されます。

サンプルサイズを増やすことでより正確な平均の推定値を取得できるため、分布がかなり重なっている場合でも、サンプルサイズを大きくすることで、互いに近い手段をより簡単に区別することができます。人口は、彼らが同じではないことを伝えるのに十分正確に意味します。

Nが増加すると縮小する変動性は、多くの場合標準誤差として表されるサンプル平均の変動性です。または、他の言葉で、サンプル平均の信of性の確実性は増加しています。

3人の男性と3人の女性を集め、身長を測定する実験を実行するとします。各グループの平均身長が、男性と女性の別々の集団の真の平均であることをどの程度確信していますか？私はあなたがまったく確信がないと思うべきです。3の新しいサンプルを簡単に収集し、最初のサンプルから数インチの新しい平均を見つけることができます。このように繰り返される実験のかなりの数は、平均が非常に異なるため、女性が男性よりも背が高くなることさえあるかもしれません。Nが低いと、サンプルの平均値にあまり確実性がなく、サンプルによって大きく異なります。

次に、各グループで10,000の観測を想像してください。互いに大きく異なる平均値を持つ10,000の新しいサンプルを見つけるのはかなり難しいでしょう。これらの変数ははるかに少なくなり、その正確性がより確実になります。

この考え方を受け入れることができれば、統計の計算に標準誤差として挿入できます。方程式からわかるように、それはパラメーターの推定値であり、（nが増加するにつれてより正確になるはずです）を常にnとともに増加する値割ったものです。その標準誤差は、計算の平均または効果のばらつきを表しています。小さいほど、統計的検定は強力になります。$\sigma$$\sqrt n$

Rの小さなシミュレーションは、標準誤差と初期実験の多くの複製の平均の標準偏差との関係を示しています。この場合、母平均100と標準偏差15から始めます。

mu <- 100
s <- 50
n <- 5
nsim <- 10000 # number of simulations
# theoretical standard error
s / sqrt(n)
# simulation of experiment and the standard deviations of their means
y <- replicate( nsim, mean( rnorm(n, mu, s) ) )
sd(y)

最終的な標準偏差が理論上の標準誤差にどのように近いかに注意してください。ここでn変数を操作すると、nが増加するにつれて変動性の尺度が小さくなることがわかります。

[余談ですが、グラフの尖度は実際には変化していません（正規分布であると仮定）。分散を下げても尖度は変わりませんが、分布は狭くなります。尖度の変化を視覚的に調べる唯一の方法は、分布を同じスケールにすることです。]

アメリカ市民の平均体重を知りたい場合は、理想的なケースでは、すぐにすべての市民に体重計に乗ってデータを収集するように依頼します。正確な答えが得られます。これは非常に難しいので、数人の市民に規模を拡大させ、平均を計算し、人口の平均が何であるかを理解させることができます。サンプルの平均は母集団の平均と正確に等しいと思いますか？しないことを願っています。

さて、あなたがますます多くの人々を得たならば、ある時点で人口平均に近づいていることに同意しますか？私たちはそうすべきですか？最終的に私たちが得ることができるほとんどの人々は人口全体であり、その平均は私たちが探しているものです。これが直観です。

これは理想的な思考実験でした。実際には、合併症があります。2つあげます。

• データがコーシー分布から来ていると想像してください。サンプルを無限に増やすことができますが、分散は減少しません。この分布には母集団の分散はありません。実際、厳密に言えば、サンプル平均もありません。悲しい。驚くべきことに、この分布は非常に現実的であり、物理学のあちこちに現れます。
• アメリカ市民の平均体重を決定するタスクを続けることにしたと想像してください。だから、あなたはあなたの体重計を取り、家から家に行きます。これには何年もかかります。数百万の観測値を収集するまでに、データセット内の一部の市民は体重を大幅に変更したり、一部は死亡したりします。ポイントは、この場合のサンプルサイズの増加は役に立たないということです。

サンプル数が増えると分散（標準誤差）が下がる理由は、大きな数の法則で説明されていると思います。これに関するウィキペディアの記事はこう言っています：

法律によれば、多数の試行から得られた結果の平均は期待値に近く、より多くの試行が行われるとより近くなる傾向があります。

中央極限定理に関して：

単一のランダムサンプルを描画する場合、サンプルが大きいほど、サンプル平均は母平均に近くなります（上記の引用では、「試行回数」を「サンプルサイズ」と考えるため、各「試行」は観測値です。 ）。したがって、ランダムなサンプルを無限に描画する場合、サンプリング分布の分散は、各サンプルのサイズが大きいほど低くなります。

言い換えると、各サンプルの平均がベルの中心に近くなるため、各サンプルが小さいのではなく大きい場合、ベルの形状は狭くなります。

サンプルサイズが大きくなると、サンプルの分散（観測値間の変動）は増加しますが、サンプルの平均（標準誤差）の分散は減少するため、精度は向上します。