非正規サンプルのサンプル分散の漸近分布

これはこの質問によって提起された問題のより一般的な取り扱いです。サンプル分散の漸近分布を導出した後、デルタ法を適用して標準偏差の対応する分布に到達できます。

iidの非正規ランダム変数のサイズのサンプル、平均してと分散。サンプル平均とサンプル分散を $n$ $\{X_i\},\;\; i=1,...,n$ $\mu$ $\sigma^2$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{x})^{2}

$\bar x = \frac 1n \sum_{i=1}^nX_i,\;\;\; s^2 = \frac 1{n-1} \sum_{i=1}^n(X_i-\bar x)^2$

私たちは知っている

E (s^{2}) = σ^{2}, Var (s^{2}) = \frac{1}{n} (μ_{4} - \frac{n - 3}{n - 1} σ^{4})

$E(s^2) = \sigma^2, \;\;\; \operatorname {Var}(s^2) = \frac{1}{n} \left(\mu_4 - \frac{n-3}{n-1}\sigma^4\right)$

ここで、であり、存在が有限である必要があるモーメントが存在し、有限である分布に注意を制限します。 $\mu_4 = E(X_i -\mu)^4$

それを保持していますか

\sqrt{n} (s^{2} - σ^{2}) \to_{d} N (0, μ_{4} - σ^{4}) ?

$\sqrt n(s^2 - \sigma^2) \rightarrow_d N\left(0,\mu_4 - \sigma^4\right)\;\; ?$

— アレコスパパドプロス
ソース

へえ。あなたがこれを投稿したことに気づかずに、私は他のスレッドに投稿しました。分散に適用されるCLTには、いくつかのことがあります（たとえば、ここのp3-4など）。いい答えです。

— グレン_b-モニカを復元14

ありがとう。はい、私はこれを見つけました。しかし、彼らは@whuberが指摘した事例を見逃しています。彼らは一般的な持つベルヌーイの例さえ提供します！（4ページのベース）。 1/2のケースもカバーするように回答を拡張しています。

p

$p$

p = 1 / 2

$p=1/2$

— アレコスパパドプロ14

はい、私は彼らがベルヌーイを考慮したが、その特別なケースを考慮しなかったことを見ました。スケーリングされたベルヌーイ（同等の確率の二分されたケース）の区別についての言及は、（コメントではなく）ここで答えて議論することが重要な理由の1つ（他のいくつかの間）であると思います-特に検索可能です。

— Glen_b-モニカの復職14

回答:

サンプル分散を考慮するときに生じる依存関係を回避するために、次のように記述します。

(n - 1) s^{2} = \sum_{i = 1}^{n} ((X_{i} - μ) - (\bar{x} - μ))^{2}

$(n-1)s^2 = \sum_{i=1}^n\Big((X_i-\mu) -(\bar x-\mu)\Big)^2$

= \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 \sum_{i = 1}^{n} ((X_{i} - μ) (\bar{x} - μ)) + \sum_{i = 1}^{n} (\bar{x} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2-2\sum_{i=1}^n\Big((X_i-\mu)(\bar x-\mu)\Big)+\sum_{i=1}^n\Big(\bar x-\mu\Big)^2$

そして、少し操作した後、

= \sum_{i = 1}^{n} (X_{i} - μ)^{2} - n (\bar{x} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2 - n\Big(\bar x-\mu\Big)^2$

だから

\sqrt{n} (s^{2} - σ^{2}) = \frac{\sqrt{n}}{n - 1} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - \sqrt{n} σ^{2} - \frac{\sqrt{n}}{n - 1} n (\bar{x} - μ)^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \sigma^2- \frac {\sqrt n}{n-1}n\Big(\bar x-\mu\Big)^2$

操作する、

\sqrt{n} (s^{2} - σ^{2}) = \frac{\sqrt{n}}{n - 1} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - \sqrt{n} \frac{n - 1}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{n \sqrt{n}}{n - 1} \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - \sqrt{n} \frac{n - 1}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$=\frac {n\sqrt n}{n-1}\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{n}{n - 1} [\sqrt{n} (\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - σ^{2})] + \frac{\sqrt{n}}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$=\frac {n}{n-1}\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right] + \frac {\sqrt n}{n-1}\sigma^2 -\frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

用語は漸近的に単一になります。用語は決定論的であり、としてゼロになります。 $n/(n-1)$ $\frac {\sqrt n}{n-1}\sigma^2$ $n \rightarrow \infty$

さらに。最初のコンポーネントは分布が正規に収束し、2番目のコンポーネントは確率がゼロに収束します。次に、スルツキーの定理により、積は確率がゼロに収束します。 $\sqrt n\Big(\bar x-\mu\Big)^2 = \left[\sqrt n\Big(\bar x-\mu\Big)\right]\cdot \Big(\bar x-\mu\Big)$

\sqrt{n} (\bar{x} - μ)^{2} \overset{p}{\to} 0

$\sqrt n\Big(\bar x-\mu\Big)^2\xrightarrow{p} 0$

用語が残っています

[\sqrt{n} (\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - σ^{2})]

$\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right]$

この答えへのコメントで@whuberによって提供された致命的な例によって警告されて、が一定でないことを確認したいと思います。Whuber は、がベルヌーイ場合、この量は定数であると指摘しました。そのため、これが発生する変数を除外します（おそらく、バイナリだけでなく、他の二分法ですか？） $(X_i-\mu)^2$ $X_i$ $(1/2)$ $0/1$

E (X_{i} - μ)^{2} = σ^{2}, Var [(X_{i} - μ)^{2}] = μ_{4} - σ^{4}

$\mathrm{E}\Big(X_i-\mu\Big)^2 = \sigma^2,\;\; \operatorname {Var}\left[\Big(X_i-\mu\Big)^2\right] = \mu_4 - \sigma^4$

したがって、調査中の用語は、古典的な中央極限定理の通常の主題であり、

\sqrt{n} (s^{2} - σ^{2}) \overset{d}{\to} N (0, μ_{4} - σ^{4})

$\sqrt n(s^2 - \sigma^2) \xrightarrow{d} N\left(0,\mu_4 - \sigma^4\right)$

注：もちろん、上記の結果は正規分布サンプルにも当てはまりますが、この最後のケースでは、有限サンプルのカイ二乗分布結果も利用できます。

— アレコスパパドプロス
ソース

+1一般的な二分分布はすべてベルヌーイのスケールバージョンとロケーションバージョンであるため、一般的な二分分布を確認する理由はありません。ベルヌーイの分析で十分です。私のシミュレーション（サンプルサイズ）では、結果を確認します。

10^{1000}

$10^{1000}$

χ_{1}^{2}

$\chi^2_1$

— whuber

@whuberチェックしていただきありがとうございます。もちろん、ベンロウリが彼らのすべての母親であることは間違いありません。

— アレコスパパドプロス14

あなたはすでにあなたの質問に対する詳細な答えを持っていますが、私はそれと一緒に行くために別のものを提供させてください。実際には、以下の分布があるという事実に基づいて、より短い証明が可能です。

S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S^2 = \frac{1}{n-1} \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

たとえば、に依存しません。漸近的に、ファクターをに変更するかどうかも問題ではありません。これは便宜上行います。それから $E(X) = \xi$ $\frac{1}{n-1}$ $\frac{1}{n}$

\sqrt{n} (S^{2} - σ^{2}) = \sqrt{n} [\frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - {\bar{X}}^{2} - σ^{2}]

$\sqrt{n} \left(S^2 - \sigma^2 \right) = \sqrt{n} \left[ \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2 - \sigma^2 \right]$

そして今、一般性を失うことなく、と仮定し、 $\xi = 0$

\sqrt{n} {\bar{X}}^{2} = \frac{1}{\sqrt{n}} {(\sqrt{n} \bar{X})}^{2}

$\sqrt{n} \bar{X}^2 = \frac{1}{\sqrt{n}} \left( \sqrt{n} \bar{X} \right)^2$

2番目の項は（CLTと連続マッピング定理によって）確率で制限されているため、確率限界ゼロです。つまり、です。漸近的な結果は、Slutzkyの定理とCLTから得られます。 $O_p(1)$

\sqrt{n} [\frac{1}{n} \sum X_{i}^{2} - σ^{2}] \overset{D}{\to} N (0, τ^{2})

$\sqrt{n} \left[ \frac{1}{n} \sum X_i^2 - \sigma^2 \right] \xrightarrow{D} \mathcal{N} \left(0, \tau^2 \right)$

ここで、。そして、それはそれを行います。 $\tau^2 = Var \left\{ X^2\right\} = \mathbb{E} \left(X^4 \right) - \left( \mathbb{E} \left(X^2\right) \right)^2$

— JohnK
ソース

これは確かに経済的です。しかし、仮定が無害であることを再考してください。たとえば、ベルヌーイ（ 1/2 ）サンプルの場合は除外されます。私の回答の最後で述べたように、そのようなサンプルでは、この漸近的な結果は成り立ちません。

E (X) = 0

$E(X) =0$

p = 1 / 2

$p=1/2$

— アレコスパパドプロス

@AlecosPapadopoulos確かに、データは常に中央揃えにできますよね？、そして、これらの変数を操作できます。ベルヌーイの場合、そうすることを妨げる何かがありますか？

\sum_{i = 1}^{n} {(X_{i} - μ - (\bar{X} - μ))}^{2} = \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$\sum_{i=1}^n \left(X_i - \mu - ( \bar{X}-\mu) \right)^2 = \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

— JohnK

@AlecosPapadopoulosそうそう、問題が見えます。

— JohnK

私はこの問題について小さな記事を書きました。ブログにアップロードする時が来たと思います。あなたがそれを読むことに興味があるなら、私はあなたに通知します。この場合の標本分散の漸近分布は興味深いものであり、さらに標本標準偏差の漸近分布も興味深いものです。これらの結果は、任意の 1/2二分確率変数に当てはまります。

p = 1 / 2

$p=1/2$

— アレコスパパドプロス

馬鹿げた質問ですが、が正常でない場合、は補助的であるとどのように想定できますか？または、常に補助的です（wrm平均パラメータ化と思います）が、サンプル平均がBasuの定理による完全な十分な統計（すなわち正規分布）である場合にのみ、サンプル平均から独立していますか？

S^{2}

$S^2$

X_{i}

$X_i$

S^{2}

$S^2$

— Chill2Macht

AlecosとJohnKによる優れた答えは、あなたが求めている結果をすでに導き出していますが、サンプル分散の漸近分布について何か別のものに注目したいと思います。

正規分布を使用して提示される漸近的な結果を見るのが一般的であり、これは定理を述べるのに役立ちます。ただし、実際には、サンプル統計量の漸近分布の目的は、が大きい場合に近似分布を取得できるようにすることです。多くの分布は漸近形が同じであるため、大標本近似には多くの選択肢があります。サンプル分散の場合、が大きい優れた近似分布は次のように与えられるというのが私の見解です。 $n$ $n$

\frac{S_{n}^{2}}{σ^{2}} \sim \frac{Chi-Sq (df = D F_{n})}{D F_{n}},

$\frac{S_n^2}{\sigma^2} \sim \frac{\text{Chi-Sq}(\text{df} = DF_n)}{DF_n},$

ここで、およびは尖度パラメーターです。この分布は、定理から導き出された正規近似と漸近的に等価です（自由度が無限になる傾向があるため、カイ2乗分布は正規に収束します）。この等価性にもかかわらず、この近似には、近似分布に必要な他のさまざまな特性があります。 $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2) = 2n / ( \kappa - (n-3)/(n-1))$ $\kappa = \mu_4 / \sigma^4$

定理から直接導出された正規近似とは異なり、この分布は対象の統計量を正しくサポートしています。サンプル分散は非負であり、この分布には非負のサポートがあります。
基礎となる値が正規分布している場合、この近似は実際には正確なサンプリング分布です。（この場合、ほとんどのテキストで使用される標準形式であるを与えるあります。）したがって、重要な特別な場合に正確な結果を構成しますが、より一般的なケース。 $\kappa = 3$ $DF_n = n-1$

上記の結果の導出：サンプルの平均値と分散の近似分布結果については、O'Neill（2014）で詳しく説明されています。このホワイトペーパーでは、現在の近似分布を含む多くの結果の導出について説明します。

この導出は、質問の限定的な結果から始まります。

\sqrt{n} (S_{n}^{2} - σ^{2}) \sim N (0, σ^{4} (κ - 1)) .

$\sqrt{n} (S_n^2 - \sigma^2) \sim \text{N}(0, \sigma^4 (\kappa - 1)).$

この結果を再配置して、近似を取得します。

\frac{S_{n}^{2}}{σ^{2}} \sim N (1, \frac{κ - 1}{n}) .

$\frac{S_n^2}{\sigma^2} \sim \text{N} \Big( 1, \frac{\kappa - 1}{n} \Big).$

カイ2乗分布は漸近正規分布であるため、次のようになります。 $DF \rightarrow \infty$

\frac{Chi-Sq (D F)}{D F} \to \frac{1}{D F} N (D F, 2 D F) = N (1, \frac{2}{D F}) .

$\frac{\text{Chi-Sq}(DF)}{DF} \rightarrow \frac{1}{DF} \text{N} ( DF, 2DF ) = \text{N} \Big( 1, \frac{2}{DF} \Big).$

服用（上記式が得られる）を与えるカイ二乗分布に漸近的であることを保証します制限定理からの通常の近似に相当します。 $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2)$ $DF_n \rightarrow 2n / (\kappa - 1)$

— モニカを復活させる
ソース

経験的に興味深い質問の1つは、これらの2つの漸近的な結果のどちらが、さまざまな基礎となるデータ分布の下での有限サンプルの場合によりよく機能するかということです。

— lzstat

はい、それは非常に興味深い（そして公開可能な）シミュレーション研究になると思います。現在の式はサンプル分散の分散の尖度補正に基づいているので、中枢性から遠い尖度パラメータを持つ基になる分布がある場合（つまり、尖度-修正が最も重要です）。尖度はサンプルから推定する必要があるため、全体的なパフォーマンスが大幅に改善される時期については未解決の問題です。

— モニカを