または上の一様分布の合計を考えます。でのPDFのカスプが消えるのはなぜですか？

私はしばらくこのことについて疑問に思っていました。私はそれがどのように突然起こるか少し奇妙だと思います。基本的に、がそれを滑らかにするために3つのユニフォームだけが必要なのはなぜですか？そして、なぜスムージングアウトがそれほど速く起こるのですか？ $Z_n$

$Z_2$ ：

$Z_3$ ：

（ジョン・D・クックのブログから恥知らずに盗まれた画像：http : //www.johndcook.com/blog/2009/02/12/sums-of-uniform-random-values/）

なぜ、たとえば4つの制服が必要なのでしょうか？それとも5？それとも...？

— テトラグラマトン
ソース

3つのユニフォームの合計のpfには2次セグメントがあり、2つ以上のユニフォームを取得すると平均値にピークがあるため、簡単にできるように簡単になります。二次ピークは「滑らか」です...そして、二次断片間の結合は1と2にあるため、1.5でキンクすることはできません。同じ結論に到達する他の方法があります

— Glen_b

これにはさまざまなアプローチをとることができますが、どのアプローチも一部の人には直感的で、他の人には直感的ではないように思えます。このような変化に対応するため、この回答では、数学的思考の主要な区分である分析（無限および無限）、幾何学/トポロジー（空間関係）、および代数（記号操作の形式的パターン）をカバーするいくつかのアプローチを調査します。確率自体も。最後に、4つのアプローチすべてを統合し、ここで答えるべき真の質問があることを示し、問題が何であるかを正確に示す観察結果に至ります。各アプローチは、独自の方法で、独立した均一変数の合計の確率分布関数の形状の性質に関するより深い洞察を提供します。

バックグラウンド

制服分布は $[0,1]$ 、いくつかの基本的な説明があります。とき、このような分布を有しています、 $X$

チャンスという測定可能なセットにあるのちょうど措置（長さ）である、書かれた。 $X$ $A$ $A \cap [0,1]$ $|A \cap [0,1]|$
このことから、累積分布関数（CDF）は

$F_{X} (x) = Pr (X \leq x) = | (- \infty, x] \cap [0, 1] | = | [0, min (x, 1)] | = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ x & 0 \leq x \leq 1 \\ 1 & x > 1. \end{cases} \end{array}$ $F_X(x) = \Pr(X \le x) = |(-\infty, x] \cap [0,1]| = |[0,\min(x,1)]| = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x\lt 0 \\ x & 0\leq x\leq 1 \\ 1 & x\gt 1. \end{array}\right. \end{array}$
CDFの誘導体である確率密度関数（PDF）は、あるのためのとそれ以外の場合。（およびでは未定義です。） $f_X(x) = 1$ $0 \le x \le 1$ $f_X(x)=0$ $0$ $1$

特性関数からの直観（分析）

任意のランダム変数の特性関数（CF）は、の期待値です（は虚数単位、）。一様分布のPDFを使用して計算できます $X$ $\exp(i t X)$ $i$ $i^2=-1$

ϕ_{X} (t) = \int_{- \infty}^{\infty} \exp (i t x) f_{X} (x) d x = \int_{0}^{1} \exp (i t x) d x = {\frac{\exp (i t x)}{i t} |}_{x = 0}^{x = 1} = \frac{\exp (i t) - 1}{i t} .

$\phi_X(t) = \int_{-\infty}^\infty \exp(i t x) f_X(x) dx = \int_0^1 \exp(i t x) dx = \left. \frac{\exp(itx)}{it} \right|_{x=0}^{x=1} = \frac{\exp(it)-1}{it}.$

CFは（バージョンの）PDFのフーリエ変換、です。フーリエ変換に関する最も基本的な定理は次のとおりです。 $\phi(t) = \hat{f}(t)$

独立変数の和のCFある製品彼らのCFの。 $X+Y$
元のPDFが連続でが制限されている場合、フーリエ変換の密接に関連するバージョンによってCFからを復元できます。 $f$ $X$ $f$ $\phi$

f (x) = \overset{ˇ}{ϕ} (x) = \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t .

$f(x) = \check{\phi}(x) = \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt.$

場合微分可能であり、その誘導体は、積分記号の下に計算することができます。 $f$

$f^{'} (x) = \frac{d}{d x} \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t = \frac{- i}{2 π} \int_{- \infty}^{\infty} t \exp (- i x t) ϕ (t) d t .$ $f'(x) = \frac{d}{dx} \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt = \frac{-i}{2\pi} \int_{-\infty}^\infty t \exp(-i x t) \phi(t) dt.$
これを明確にするには、最後の積分が完全に収束する必要があります。あれは、

$\int_{- \infty}^{\infty} | t \exp (- i x t) ϕ (t) | d t = \int_{- \infty}^{\infty} | t | | ϕ (t) | d t$ $\int_{-\infty}^\infty |t \exp(-i x t) \phi(t)| dt = \int_{-\infty}^\infty |t| |\phi(t)| dt$
有限値に収束する必要があります。逆に、収束すると、これらの反転式により微分はどこにでも存在します。

均一変数の合計に対するPDFの微分可能性が明確になりました。最初の箇条書きから、iid変数の合計のCFは乗した変数のCFです。ここに等しい。分子は境界があり（正弦波で構成されます）、分母はです。このような被積分関数にを掛けることができますが、場合は絶対的に収束し、場合は条件付きで収束します。したがって、3番目の箇条書きを繰り返し適用すると、一様変量の合計のPDFは連続的になることがわかります。 $n$ $n^\text{th}$ $(\exp(i t) - 1)^n / (i t)^n$ $O(t^{n})$ $t^{s}$ $s \lt n-1$ $s = n-1$ $n$ $n-2$ 微分可能であり、ほとんどの場所で、倍微分可能です。 $n-1$

n = 10のCF

青い網掛けの曲線は、 iidの一様変量の和のCFの実数部の絶対値の対数プロットです。赤い破線は漸近線です。その勾配はで、PDF が倍微分可能であることを示しています。参考のため、灰色の曲線は、同様の形状のガウス関数（通常のPDF）のCFの実数部をプロットしています。 $n=10$ $-10$ $10 - 2 = 8$

確率からの直観

ましょうおよび、独立したランダム変数である制服がある分布を。狭い間隔考えてみましょう。私たちは、そのチャンス分解する機会に十分に近いこの間隔倍の可能性であるちょうどいい大きさですが十分に近い場合、この間隔にを配置するには： $Y$ $X$ $X$ $[0,1]$ $(t, t+dt]$ $X+Y \in (t, t+dt]$ $Y$ $X$ $X+Y$ $Y$

\begin{aligned} f_{X + Y} (t) d t = & Pr (X + Y \in (t, t + d t]) \\ = Pr (X + Y \in (t, t + d t] | Y \in (t - 1, t + d t]) Pr (Y \in (t - 1, t + d t]) \\ = Pr (X \in (t - Y, t - Y + d t] | Y \in (t - 1, t + d t]) (F_{Y} (t + d t) - F_{Y} (t - 1)) \\ = 1 d t (F_{Y} (t + d t) - F_{Y} (t - 1)) . \end{aligned}

$\eqalign{ f_{X+Y}(t) dt = &\Pr(X+Y\in (t,t+dt])\\ & = \Pr(X+Y\in (t,t+dt] | Y \in (t-1, t+dt]) \Pr(Y \in (t-1, t+dt]) \\ & = \Pr(X \in (t-Y, t-Y+dt] | Y \in (t-1, t+dt]) \left(F_Y(t+dt) - F_Y(t-1)\right) \\ & = 1 dt \left(F_Y(t+dt) - F_Y(t-1)\right). }$

最終的な等式はのPDFの式から得られます。で両側を割るとしての限界を取って与えます $X$ $dt$ $dt\to 0$

f_{X + Y} (t) = F_{Y} (t) - F_{Y} (t - 1) .

$f_{X+Y}(t) = F_Y(t) - F_Y(t-1).$

つまり、Uniform変数を任意の変数に追加すると、pdfが差分CDFます。PDFはCDFの導関数であるため、これは独立した均一変数をに追加するたびに、結果のPDFが以前よりも1回微分可能になることを意味します。 $[0,1]$ $X$ $Y$ $f_Y$ $F_Y(t) - F_Y(t-1)$ $Y$

ユニフォーム変数から始めて、この洞察を適用してみましょう。元のPDFはまたは微分できません。そこでは不連続です。PDFで微分可能ではない、、又は、それは、これらの点で連続的である必要があり、それはのPDFの積分の差であるので、。別の独立した均一な変数追加：のPDFあるで微分、、、及びそれ-しかし、必ずしも有していない第二の $Y$ $0$ $1$ $Y+X$ $0$ $1$ $2$ $Y$ $X_2$ $Y+X+X_2$ $0$ $1$ $2$ $3$ それらのポイントでのデリバティブ。等々。

ジオメトリからの直観

一様変量の和のでのCDFは、半空間内にあるユニットハイパーキューブの体積に等しくなります。用状況変量を用いて、ここに示されに設定、、次いで。 $t$ $n$ $[0,1]^n$ $x_1+x_2+\cdots+x_n \le t$ $n=3$ $t$ $1/2$ $3/2$ $5/2$

3Dキューブ

から進行を介して、超平面交差頂点における、。断面の形状が変わるたびに、図では最初に三角形（シンプレックス）、次に六角形、次に三角形になります。 これらの値でPDFに鋭い曲げがないのはなぜですか？ $t$ $0$ $n$ $H_n(t): x_1+x_2+\cdots+x_n=t$ $t=0$ $t=1, \ldots, t=n$ $2$ $t$

これを理解するには、まず小さな値を考慮します。ここで、超平面はシンプレックスを切断します。シンプレックスの次元はすべてに直接比例し、その「面積」は比例します。このためのいくつかの表記法は後で役立ちます。してみましょう「単位ステップ関数」で $t$ $H_n(t)$ $n-1$ $n-1$ $t$ $t^{n-1}$ $\theta$

θ (x) = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ 1 & x \geq 0. \end{cases} \end{array}

$\theta(x) = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x \lt 0 \\ 1 & x\ge 0. \end{array}\right. \end{array}$

ハイパーキューブの他のコーナーが存在しない場合、このスケーリングは無期限に継続します。シンプレックスの面積のプロットは、次の青い実線の曲線のようになります。負の値ではゼロで、等しくなります正の値で、便利に書かれてい。原点に次の「キンク」があり、次までのすべての導関数が存在して連続しているという意味で、次の左右の導関数は存在するが、原点では一致しないという意味で。 $n-1$ $t^{n-1}/(n-1)!$ $\theta(t) t^{n-1}/(n-1)!$ $n-2$ $n-3$ $n-2$

（この図に示されている他の曲線は、（赤）、（金）、および（黒）の場合の役割については、以下でさらに説明します。） $-3\theta(t-1) (t-1)^{2}/2!$ $3\theta(t-2) (t-2)^{2}/2!$ $-\theta(t-3) (t-3)^{2}/2!$ $n=3$

単純な面積プロット

が横切ったときに何が起こるかを理解するために、すべてのジオメトリが平面内で発生するのケースを詳細に調べてみましょう。以下に示すように、ユニット「キューブ」（現在は単なる正方形）を象限の線形結合として見ることができます。 $t$ $1$ $n=2$

最初の象限が左下のパネルに灰色で表示されます。の値は、5つのパネルすべてに表示される対角線を決定します。CDFは、右側に示されている黄色の領域と同じです。この黄色の領域は次のもので構成されています。 $t$ $1.5$

左下のパネルの三角形の灰色の領域、
左上のパネルの三角形の緑色の領域を引いて、
低い中央のパネルの三角形の赤い領域を引いて、
さらに、上部中央パネルの青色の領域（ただし、そのような領域は存在せず、がを超えるまで存在しません）。 $t$ $2$

これらのエリアはすべて三角形のエリアです。以下のような最初のスケール、次の二つがゼロであるとそうでないようなスケール、そして最後はゼロであり、その他の場合はようにスケールします。この幾何学的分析により、CDFは = ; 同様に、PDFは3つの関数、、およびの合計に比例します $2^n=4$ $t^n=t^2$ $t\lt 1$ $(t-1)^n = (t-1)^2$ $t\lt 2$ $(t-2)^n$ $\theta(t)t^2 - \theta(t-1)(t-1)^2 - \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t^2 - 2 \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t$ $-2\theta(t-1)(t-1)$ $\theta(t-2)(t-2)$ （場合、それぞれが線形にスケーリングします）。この図に示すそれらのグラフの左のパネル：明らかに、彼らは元のグラフのすべてのバージョンであるが、（）だけシフト、、および右及び（B）に単位がによって再スケーリング、、およびです。 $n=2$ $\theta(t)t$ $0$ $1$ $2$ $1$ $-2$ $1$

n = 2のグラフ

右側のパネルは、これらのグラフの合計を示しています（黒一色の曲線、単位面積を持つように正規化されています：これは、元の質問で示されている角度の見えるPDFです）。

これで、PDFのiidユニフォーム変数の合計の「キンク」の性質を理解できます。 これらはすべて、関数で発生する「キンク」とまったく同じであり、おそらく再スケーリングされ、整数シフトされますは超平面は、ハイパーキューブの頂点を交差します。以下のために、これは方向における目に見える変化である：右誘導体でであるの左誘導体である。以下のために、これは、連続 $0$ $\theta(t)t^{n-1}$ $1,2,\ldots, n$ $H_n(t)$ $n=2$ $\theta(t)t$ $0$ $0$ $1$ $n=3$ 方向は変化しますが、二次導関数の突然の（不連続な）変化です。一般的なについては、次まで連続微分がありますが、微分には不連続があり。 $n$ $n-2$ $n-1^\text{st}$

代数的操作からの直観

CFを計算するための統合、確率的分析における条件付き確率の形式、および象限の線形結合としてのハイパーキューブの合成はすべて、元の均一分布に戻り、それをより単純なものの線形結合として再表現することを示唆しています。確かに、そのPDFは書くことができます

f_{X} (x) = θ (x) - θ (x - 1) .

$f_X(x) = \theta(x) - \theta(x-1).$

シフト演算子導入しましょう：グラフを右に1単位シフトすることにより、任意の関数作用します： $\Delta$ $f$

(Δ f) (x) = f (x - 1) .

$(\Delta f)(x) = f(x-1).$

形式的には、一様変数 PDFについて、次のように記述できます。 $X$

f_{X} = (1 - Δ) θ .

$f_X = (1 - \Delta)\theta.$

のユニフォームの合計のPDFは、とそれ自体の回の畳み込みです。これは、ランダム変数の合計の定義から得られます。2つの関数と畳み込みは、 $n$ $f_X$ $n$ $f$ $g$

(f ⋆ g) (x) = \int_{- \infty}^{\infty} f (x - y) g (y) d y .

$(f \star g)(x) = \int_{-\infty}^{\infty} f(x-y)g(y) dy.$

畳み込みがと交換することを確認するのは簡単です。積分の変数をから変更するだけです： $\Delta$ $y$ $y+1$

\begin{aligned} (f ⋆ (Δ g)) & = \int_{- \infty}^{\infty} f (x - y) (Δ g) (y) d y \\ = \int_{- \infty}^{\infty} f (x - y) g (y - 1) d y \\ = \int_{- \infty}^{\infty} f ((x - 1) - y) g (y) d y \\ = (Δ (f ⋆ g)) (x) . \end{aligned}

$\eqalign{ (f \star (\Delta g)) &= \int_{-\infty}^{\infty} f(x-y)(\Delta g)(y) dy \\ &= \int_{-\infty}^{\infty} f(x-y)g(y-1) dy \\ &= \int_{-\infty}^{\infty} f((x-1)-y)g(y) dy \\ &= (\Delta (f \star g))(x). }$

iidユニフォームの合計のPDFについては、次のように代数的に進めます。 $n$

f = f_{X}^{⋆ n} = ((1 - Δ) θ)^{⋆ n} = (1 - Δ)^{n} θ^{⋆ n}

$f = f_X^{\star n} = ((1 - \Delta)\theta)^{\star n} = (1-\Delta)^n \theta^{\star n}$

（ "power"は、点ごとの乗算ではなく、反復畳み込みを示します！）。現在、は直接的な基本積分であり、 $\star n$ $\theta^{\star n}$

θ^{⋆ n} (x) = θ (x) \frac{x^{n - 1}}{n - 1!} .

$\theta^{\star n}(x) = \theta(x) \frac{x^{n-1}}{{n-1}!}.$

残りは代数です。二項定理が適用されるためです（実数上の可換代数でのように）。

f = (1 - Δ)^{n} θ^{⋆ n} = \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) Δ^{i} θ^{⋆ n} .

$f = (1-\Delta)^n \theta^{\star n} = \sum_{i=0}^{n} (-1)^i \binom{n}{i} \Delta^i \theta^{\star n}.$

ので単ににより引数をシフト、この展示のPDFのシフトされたバージョンの線形結合として、正確に我々は、幾何学的に推定されます。 $\Delta^i$ $i$ $f$ $\theta(x) x^{n-1}$

f (x) = \frac{1}{(n - 1)!} \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) (x - i)^{n - 1} θ (x - i) .

$f(x) = \frac{1}{(n-1)!}\sum_{i=0}^{n} (-1)^i \binom{n}{i} (x-i)^{n-1}\theta(x-i).$

（ジョンクックは、ブログ投稿でこの式を引用し、の表記を使用しています。） $(x-i)^{n-1}_+$ $(x-i)^{n-1}\theta(x-i)$

したがって、はどこでも滑らかな関数であるため、PDFの特異な動作はが特異な場所（明らかに）および右にシフトした場所でのみ発生します。。 したがって、その特異な動作の性質-平滑度-は、すべての箇所で同じになります。 $x^{n-1}$ $\theta(x)$ $0$ $1, 2, \ldots, n$ $n+1$

これを示すのは、で、左のパネルに合計の個々の用語と（右のパネルに）部分的な合計が表示され、合計自体に達します（黒の実線の曲線）。 $n=8$

n = 8のプロット

最後のコメント

この最後のアプローチにより、最終的に iid均一変数の合計のPDFを計算するためのコンパクトで実用的な式が得られたことに注意してください。（CDFの式も同様に取得されます。） $n$

中心極限定理はここで言うことはほとんどありません。結局、iid Binomial変数の合計は正規分布に収束しますが、その合計は常に離散的です。PDFさえまったくありません！PDFの「ねじれ」または微分可能性の他の尺度についての直観がCLTから来ることを期待しないでください。

— ウーバー
ソース

（+1）ファンタスティック！さて、これをすべてまとめるのにどれくらいの時間がかかりましたか？！

— 枢機

@Cardinal先週の月曜日に権力を失う前に読んだ最後の質問でした。次の週に、長い暗い夜はそれを熟考する機会を提供しました:-)、そして娯楽のために、複数の答えを開発する。先週末、権力が回復した後、イラストを作り、それをすべて書く時間を見つけるだけでした（予想よりも時間がかかりました、私は告白します）。このスレッドの一部が、ランダム変数の合計に関する将来の関連する質問のリファレンスとして役立つことを期待しています。

— whuber

ワオ。この回答を「お気に入り」にしたいと思います。

— ルブバーブ

なんてこった、これは絶対に素晴らしい。このような単純な質問がどれほど深いものであるか、私は気づかなかった。あなたの答えを理解するのに時間がかかりますが、今のところはどうもありがとうございました！

— テトラグラマトン

私は、コメントに関するSEポリシーに違反します。crossvalidate.comのすべてが、より頻繁に電力を遮断するために電力会社に賄shouldを払うべきだと言って:)

— mpiktas

一様確率変数の確率密度関数は有限であると主張できますが、

そのため、一様な確率変数の累積密度関数はその積分が連続的であり、

したがって、2つの一様確率変数の合計の確率密度関数は連続的です。

そのため、2つの一様なランダム変数の合計の累積密度関数はその積分が滑らか（連続微分可能）であり、

したがって、3つの一様なランダム変数の合計の確率密度関数は滑らかです。

— ヘンリー
ソース

もっと驚くべきことは、鋭いピークが得られることだと思います。 $n=2$

中央極限定理では、十分な大きさのサンプルサイズの場合、平均の分布（および合計は平均時間、各グラフの固定定数）はほぼ正規になると述べています。均一な分布は、CLT（対称、重い尾がない（尾があまりない）、外れ値の可能性がない）に関して実際にうまく動作するため、均一にするためには、サンプルサイズを「十分に大きくする必要がある」」はそれほど大きくありません（適切な近似の場合は5または6前後）でOK近似が既に表示されています。 $n$ $n=3$

— グレッグ・スノー
ソース