中心極限定理と大数の法則が一致しない場合

19

これは基本的に、私がmath.seで見つけた質問の複製であり、期待した答えが得られませんでした。

ましょう独立し、同一分布確率変数のシーケンスである、と及び。 $\{ X_i \}_{i \in \mathbb{N}}$ $\mathbb{E}[X_i] = 1$ $\mathbb{V}[X_i] = 1$

の評価を検討する

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n})

$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)$

この式は、不等式イベントの両側が無限になりがちなので、操作する必要があります。

A）減算を試す

制限ステートメントを検討する前に、両側から減算し $\sqrt{n}$ ます。

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} - \sqrt{n} \leq \sqrt{n} - \sqrt{n}) = lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - 1) \leq 0) = Φ (0) = \frac{1}{2}

$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i -\sqrt{n} \leq \sqrt{n}-\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - 1) \leq 0\right) \\ = \Phi(0) = \frac{1}{2}$

CLTによる最後の等式。ここで、 $\Phi()$ は標準正規分布関数です。

B）乗算を試してください

両側に $1/\sqrt{n}$

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \cdot \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \frac{1}{\sqrt{n}} \cdot \sqrt{n}) = lim_{n \to \infty} P (\frac{1}{n} \sum_{i = 1}^{n} X_{i} \leq 1)

$\lim_{n \to \infty} \mathbb{P}\left(\frac {1}{\sqrt{n}}\cdot \frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \frac {1}{\sqrt{n}}\cdot\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^n X_i \leq 1\right)$

= lim_{n \to \infty} P ({\bar{X}}_{n} \leq 1) = lim_{n \to \infty} F_{{\bar{X}}_{n}} (1) = 1

$= \lim_{n \to \infty} \mathbb{P}\left(\bar X_n \leq 1\right) = \lim_{n \to \infty}F_{\bar X_n}(1) = 1$

ここで、 $F_{\bar X_n}()$ は標本平均の分布関数であり $\bar X_n$ 、LLNによって確率（および分布）で定数 $1$ に収束するため、最後の等式になります。

したがって、矛盾する結果が得られます。 どちらが正しいですか？そして、なぜもう一方が間違っているのですか？

probability mathematical-statistics asymptotics

— アレコスパパドプロス
ソース

1

@JuhoKokkala確かに、ここにあります、math.stackexchange.com / q / 2830304/87400 OPの間違いを無視してください。

— アレコスパパドプロス

2

私はこの問題はLLNを呼び出す番目のステートメントであると思います

— Glen_b -Reinstateモニカ

3

私は最後の平等まであなたを追った。これは明らかに間違っています。なぜなら、はが大きいに約になると予想されるため、その制限は等しくないはずです。私が知っているのは、多数の法律のいかなるバージョンの声明でもありません。

P ({\bar{X}}_{n} \leq 1)

$\mathbb{P}(\bar X_n\le 1)$

1 / 2

$1/2$

n

$n$

1.

$1.$

— whuber

1

@whuberおそらく、サンプル平均のすべての確率は値集中します。これが間違っている場合、間違いを答えの中で詳しく説明することが重要だと思います。それがこの質問の目的です。

1

$1$

— アレコスパパドプロス

2

アレコス、私の懸念は最終ステップが間違っているかどうかではありません。結局のところ、それは質問の内容ではありませんか？私はまだそれらの理由を説明するあなたから何も読みませんでした、そして、私はそれらが何であるかもしれないと推測することさえためらうでしょう。あなたは「LLN」に言及していますが、あなたの問題の解決は、あなたが「LLN」を理解して主張することを正確に記述することにあると信じています。

— whuber

15

ここでのエラーは、次のことに思われる：分布の収束が暗黙のうちにその前提としていに収束する時の連続性の点。極限分布は一定のランダム変数であるため、でジャンプの不連続性があります。したがって、CDFが収束すると結論付けるのは正しくありません。 $F_n(x)$ $F(x)$ $F(x)$ $x=1$ $F(x)=1$

— アレックス・R
ソース

1

分布の収束を定義する方法は、不連続点での収束の可能性を排除するものではありません- それは単にそれを必要としません。

— アレコスパパドプロス

1

しかし、分布の収束でがに収束する必要がない場合、質問の最後の等式は何に基づいていますか？

F_{n} (1)

$F_n(1)$

F (1)

$F(1)$

— ジュホコッカラ

1

@Juho何にも基づいていません-それが問題の核心です。 問題の最後の方程式を作ることができる定理はありません。

— whuber

1

@AlecosPapadopoulos：可能性を排除しないと言ったことはありません。分布の収束から与えられるものを超えて最後の平等を正当化する必要があると暗黙的に言っています。たとえば、

がベルヌーイの場合、それは本当です。

X_{n}

$X_n$

— アレックスR.

11

IIDランダム変数の用いてを定義 $X_i$ $E[X_i]= \operatorname{var}(X_i)=1$ 今、CLTは、すべてのためと言う固定実数、。OPを評価するCLTを適用

\begin{aligned} Z_{n} & = \frac{1}{\sqrt{n}} \sum_{私 = 1}^{n} {バツ}_{私} 、 \\ Y_{n} & = \frac{1}{n} \sum_{私 = 1}^{n} {バツ}_{私} 。 \end{aligned}

$\begin{align}Z_n &= \frac{1}{\sqrt{n}}\sum_{i=1}^n X_i,\\ Y_n &= \frac{1}{{n}}\sum_{i=1}^n X_i. \end{align}$

z

$z$

lim_{n \to \infty} F_{Z_{n}} (z) = Φ (z - 1)

$\lim_{n\to\infty} F_{Z_n}(z) = \Phi(z-1)$

lim_{n \to \infty} P (Z_{n} \leq \frac{1}{\sqrt{n}}) = Φ (0) = \frac{1}{2} .

$\lim_{n\to\infty}P\left(Z_n \leq \frac{1}{\sqrt{n}}\right) = \Phi(0) = \frac 12.$

他の回答にもOPの質問のコメントのいくつかのように指摘したように、それはのOPの評価である容疑者です。iid が等しい確率で値とをとる離散確率変数である特別な場合を考えます $\lim_{n\to\infty} P(Y_n \leq 1)$ $X_i$ $0$ $2$ 。ここで、上で取ることができる全ての偶数の整数値などとき奇数であり、値を取ることができないひいては $\frac 12$ $\sum_{i=1}^n X_i$ $[0,2n]$ $n$ $\sum_{i=1}^n X_i$ $n$ は値取ることができません。さらに、の分布がに関して対称である、我々はそれを持っているの値を有する $Y_n = \frac 1n \sum_{i=1}^n X_i$ $1$ $Y_n$ $1$ $P(Y_n \leq 1) = F_{Y_n}(1)$ が奇数のは常に。このように、シーケンス番号の含まサブシーケンス $\frac 12$ $n$

P (Y_{1} \leq 1), P (Y_{2} \leq 1), \dots, P (Y_{n} \leq 1), \dots

$P(Y_1 \leq 1), P(Y_2 \leq 1), \ldots, P(Y_n \leq 1), \ldots$

ているすべての用語は、値を持っている

P (Y_{1} \leq 1), P (Y_{3} \leq 1), \dots, P (Y_{2 k - 1} \leq 1), \dots

$P(Y_1 \leq 1), P(Y_3 \leq 1), \ldots, P(Y_{2k-1} \leq 1), \ldots$

。一方、サブシーケンス

されている収束に

。したがって、

は存在しないとの収束のクレーム

\frac{1}{2}

$\frac 12$

P (Y_{2} \leq 1), P (Y_{4} \leq 1), \dots, P (Y_{2 k} \leq 1), \dots

$P(Y_2 \leq 1), P(Y_ 4\leq 1), \ldots, P(Y_{2k} \leq 1), \ldots$

1

$1$

lim_{n \to \infty} P (Y_{n} \leq 1)

$\lim_{n\to\infty} P(Y_n \leq 1)$

1を非常に疑って見なければなりません。

P (Y_{n} \leq 1)

$P(Y_n\leq 1)$

— ディリップ・サルワテ
ソース

8

最初の結果は正しいものです。次の誤ったステートメントで、2番目の部分でエラーが発生します。

lim_{n \to \infty} F_{{\bar{X}}_{n}} (1) = 1.

$\lim_{n \rightarrow \infty} F_{\bar{X}_n}(1) = 1.$

このステートメントはfalseです（右側はなければなりません）それは主張されているような多数の法則に従わない。多数の弱い法則（あなたが呼び出す）は次のように言います： $\tfrac{1}{2}$

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | ⩽ ε) = 1 for all ε > 0.

$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0.$

すべてのについて、条件スパンいくつかの値及び一部の値。したがって、それは従わない LLNからその。 $\varepsilon > 0$ $|\bar{X}_n - 1| \leqslant \varepsilon$ $\bar{X}_n \leqslant 1$ $\bar{X}_n > 1$ $\lim_{n \rightarrow \infty} \mathbb{P} ( \bar{X}_n \leqslant 1 ) = 1$

— モニカを復活させる
ソース

1

（間違いなく）結果は、「確率の収束は分布の収束を意味する」という意味から来ています。質問は、アサーションがLLNから直接来るとは述べていません。

— アレコスパパドプロス

@AlecosPapadopoulos：確率のコンバージェンスがない分布の収束を意味します。繰り返しますが、分布の収束は、連続性のあるポイントでのみ必要です。しかし、おそらく、確率の収束は分布の点ごとの収束を意味しないことを意味します。

— アレックスR.

@AlexR。あなたの反対がどこにあるのか分かりません。この問題は私自身の答えでカバーされていると思います。

— アレコスパパドプロス

3

確率の収束は、分布の収束を意味します。しかし...どのような分布ですか？制限分布にジャンプの不連続がある場合、境界は曖昧になります（不連続で複数の値が可能になるため）。

ここで、、平均サンプルの分布関数である定数にどの確率でLLNの収束によって（したがっても分布）、、 $F_{\bar X_n}()$ $\bar X_n$ $1$

これは正しくありません。また、正しくないことを示すのも簡単です（CLTとLLNの意見の相違とは異なります）。制限分布（一連の正規分布変数の制限と見なすことができます）は次のようになります。

F_{{\bar{X}}_{\infty}} (x) = {\begin{cases} 0 & for x < 1 \\ 0.5 & for x = 1 \\ 1 & for x > 1 \end{cases}

$F_{\bar{X}_\infty}(x) = \begin{cases} 0 & \text{for } x<1 \\ 0.5& \text{for } x=1\\ 1 & \text{for } x>1 \end{cases}$

この機能のために何かのために、それを持っているとすべての、違い十分に大きいため。場合、これは失敗するの代わりに $\epsilon>0$ $x$ $|F_{\bar{X}_n}(x)-F_{\bar{X}_\infty}(x)|<\epsilon$ $n$ $F_{\bar{X}_\infty}(1)=1$ $F_{\bar{X}_\infty}(1)=0.5$

正規分布の制限

多数の法則を呼び出すために使用される合計を明示的に書き出すと役立つ場合があります。

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \sim N (1, \frac{1}{n})

$\bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i \sim N(1,\frac{1}{n})$

^{極限のためにそれは分散がゼロになると正規分布の限界として表される場合、実際にディラックデルタ関数と等価です。 $n\to \infty$ $\hat{X}_n$}

この表現を使用すると、CLTやLLNの既成の法律を使用して法の背後にある推論を曖昧にするのではなく、内部で何が起こっているかをより簡単に確認できます。

確率の収束

多数の法則により、「確率の収束」が得られます

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | > ϵ) = 0

$\lim_{n \to \infty} P(|\bar{X}_n-1|>\epsilon) =0$

$\epsilon > 0$

^{$\lim_{n \to \infty} P(|\frac{1}{\sqrt{n}}\sum \left( X_i-1 \right)|>\frac{\epsilon}{n}) =0$}

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | > 0) = 0

$\lim_{n \to \infty} P(|\bar{X}_n-1|>0) =0$

^{$\bar{X}_1, \bar{X}_2, \bar{X}_3, ... \bar{X}_n$ $\lim_{n \to \infty} P(\bar{X}_n = 1)$}

ヘビサイドステップ関数とディラックデルタ関数

$\bar{X}_n$

F_{{\bar{X}}_{n}} (x) = \frac{1}{2} (1 + erf \frac{x - 1}{\sqrt{2 / n}})

$F_{\bar{X}_n}(x) = \frac{1}{2} \left(1 + \text{erf} \frac{x-1}{\sqrt{2/n}} \right)$

$\lim_{n \to \infty} F_{\bar{X}_n}(1) = 0.5$

このビューは、「間違っていることを示す」に関するあなたの質問を直観的に解決するか、少なくともこのCLTとLLNの不一致の原因を理解することに関する質問は、Diracデルタ関数の積分を理解することの質問と同等であることを示していると思いますまたは、分散がゼロに減少する正規分布のシーケンス。

— セクストゥス・エンピリカス
ソース

2

x = 1 / 2

$x=1/2$

a

$a$

lim_{n \to \infty} F_{X} (a + \frac{1}{n}) = F_{X} (a)

$\lim_{n \to \infty} F_{X}(a+\frac{1}{n}) = F_{X}(a)$

X \leq a + \frac{1}{n}

$X \leq a+\frac{1}{n}$

lim_{n \to \infty} F_{X} (a + \frac{1}{n}) = lim_{n \to \infty} P (X \leq a + \frac{1}{n}) = P (lim_{n \to \infty} X \leq a + \frac{1}{n}) = P (X \leq a) = F_{X} (a)

$\lim_{n \to \infty} F_{X}(a+\frac{1}{n}) = \lim_{n \to \infty} P(X \leq a+\frac{1}{n}) = P(\lim_{n \to \infty} X \leq a+\frac{1}{n}) = P(X \leq a) = F_{X}(a)$

P

$P$

P

$P$

F (x)

$F(x)$

P

$P$

F (b) - F (a) = P (a < X \leq b)

$F(b)-F(a)=P(a<X\leq b)$

F

$F$

— アレックスR.

2

「CLTアプローチ」が正しい答えを与えることは、今までに明らかであると信じています。

「LLNアプローチ」がうまくいかない場所を正確に特定しましょう。

有限ステートメントから始めて、同等に減算できることは明らかです。 $\sqrt{n}$ $1/\sqrt{n}$

P （ \frac{1}{\sqrt{n}} \sum_{私 = 1}^{n} {バツ}_{私} \leq \sqrt{n} ） = P （ \frac{1}{\sqrt{n}} \sum_{私 = 1}^{n} （ {バツ}_{私} - 1 ） \leq 0 ） = P （ \frac{1}{n} \sum_{私 = 1}^{n} {バツ}_{私} \leq 1 ）

$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)=\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1) \leq 0\right) = \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^nX_i \leq 1\right)$

したがって、制限が存在する場合、それは同一になります。設定 $Z_n = \frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1)$

P （ \frac{1}{\sqrt{n}} \sum_{私 = 1}^{n} {バツ}_{私} \leq \sqrt{n} ） = F_{Z_{n}} （ 0 ） = F_{{\bar{バツ}}_{n}} （ 1 ）

$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)= F_{Z_n}(0) = F_{\bar X_n}(1)$

$\lim_{n\to \infty}F_{Z_n}(0)= \Phi(0) = 1/2$

$\bar X_n$ $\bar X_n$
$\bar X_n$ $1$

F_{1} （ バツ ） = {\begin{cases} 1 バツ \geq 1 \\ 0 バツ < 1 \end{cases} ⟹ F_{1} （ 1 ） = 1

$F_1(x) = \cases {1 \;\;\;\;x\geq 1 \\ 0 \;\;\;\;x<1} \implies F_1(1) = 1$

$\lim_{n\to \infty} F_{\bar X_n}(1) = F_1(1) = 1$

$1$ $F_1$ $\lim_{n\to \infty} F_{\bar X_n}(1)$ $F_1(1)$

$1/2$ $\lim_{n\to \infty} F_{\bar X_n}(1) = 1/2$

何か新しいことを学びましたか？

やった。LLNは、

\underset{n \to \infty}{リム} P （ | {\bar{バツ}}_{n} - 1 | ⩽ ε ） = 1 すべてのために ε > 0

$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0$

⟹ lim_{n \to \infty} [P (1 - ε < {\bar{X}}_{n} \leq 1) + P (1 < {\bar{X}}_{n} \leq 1 + ε)] = 1

$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big( 1-\varepsilon <\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$

⟹ lim_{n \to \infty} [P ({\bar{X}}_{n} \leq 1) + P (1 < {\bar{X}}_{n} \leq 1 + ε)] = 1

$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big(\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$

The LLN does not say how is the probability allocated in the $(1-\varepsilon, 1+\varepsilon)$ interval. What I learned is that, in this class of convergence results, the probability is at the limit allocated equally on the two sides of the centerpoint of the collapsing interval.

The general statement here is, assume

X_{n} \to_{p} θ, h (n) (X_{n} - θ) \to_{d} D (0, V)

$X_n\to_p \theta,\;\;\; h(n)(X_n-\theta) \to_d D(0,V)$

where $D$ is some rv with distribution function $F_D$ . Then

lim_{n \to \infty} P [X_{n} \leq θ] = lim_{n \to \infty} P [h (n) (X_{n} - θ) \leq 0] = F_{D} (0)

$\lim_{n\to \infty} \mathbb P[X_n \leq \theta] = \lim_{n\to \infty}\mathbb P[h(n)(X_n-\theta) \leq 0] = F_D(0)$

...which may not be equal to $F_{\theta}(0)$ (the distribution function of the constant rv).

Also, this is a strong example that, when the distribution function of the limiting random variable has discontinuities, then "convergence in distribution to a random variable" may describe a situation where "the limiting distribution" may disagree with the "distribution of the limiting random variable" at the discontinuity points. Strictly speaking, the limiting distribution for the continuity points is that of the constant random variable. For the discontinuity points we may be able to calculate the limiting probability, as "separate" entities.

— Alecos Papadopoulos
ソース

「学んだ教訓」の観点は興味深いものであり、これは教訓的な応用の良い例であり、それほど難しくはありません。無限についてのこの考え方にはどのような（直接）実用的なアプリケーションがあるのだろうか

n \neq \infty

$n \neq \infty$

— セクストゥスエンピリカス

@MartijnWeterings Martijn、ここでの動機は確かに教育的でした、a）定数への収束などの「フラット」な状況でも不連続性への警告として、そして一般的には（例えば均一な収束を破壊する）、およびb）確率が定数に収束するシーケンスがゼロ以外の分散を持っている場合、確率質量の割り当て方法に関する結果が興味深いものになります。

— アレコスパパドプロス

CLTは、制限付き正規分布変数への収束について何かを言うことができます（したがって、次のように表現できます）

F (x)

$F(x)$ ）、ただし、LLNでは、サンプルサイズを大きくすることで真の平均値に近づくとしか言えませんが、「サンプルの平均値に正確に等しい」という可能性が高いとは言えません。LLNは、サンプル平均が限界値に近づきますが、（確率が高いほど）等しくないことを意味します。LLNは何も言わない

F (x)

$F(x)$

— セクストゥスエンピリカス

LLNの周りの本来の考えは実際には反対です（Arbuthnotの理由を参照stats.stackexchange.com/questions/343268）。「サイコロの数が非常に多くなると、Aのロットは非常に小さくなります...割り当て可能な時間に発生する可能性のあるすべての可能性のほんの一部です等しい数の男性と女性が生まれるべきです。」

— セクストゥスエンピリカス