ガンマ分布と正規分布の関係

最近、平均が0の正規確率変数の2乗のpdfを導出する必要があることがわかりました。何らかの理由で、事前に分散を正規化しないことを選択しました。これを正しく行った場合、このpdfは次のようになります。

N^{2} (x; σ^{2}) = \frac{1}{σ \sqrt{2 π} \sqrt{x}} e^{\frac{- x}{2 σ^{2}}}

$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$

これは、実際にはガンマ分布のパラメータ化にすぎないことに気付きました。

N^{2} (x; σ^{2}) = Gamma (x; \frac{1}{2}, 2 σ^{2})

$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$

そして、2つのガンマ（同じスケールパラメーター）の合計が別のガンマに等しいという事実から、そのガンマは 2乗正規確率変数の合計に等しいということになります。 $k$

N_{Σ}^{2} (x; k, σ^{2}) = Gamma (x; \frac{k}{2}, 2 σ^{2})

$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$

これは私には少し驚きでした。私が知っていたにもかかわらず乗の和の分布-分布の標準的な通常のRV車を-私は、ガンマは基本的に通常の合計を可能にだけ一般化したことに気づかなかった、ガンマの特殊なケースでした任意の分散のランダム変数。これは、指数分布が2つの正規分布の2乗の和に等しいなど、これまでに出会ったことのない他の特性化にもつながります。 $\chi^2$

これはすべて私にとってやや不思議です。上記で説明したように、正規分布はガンマ分布の導出の基本ですか？私がチェックしたほとんどのリソースは、2つの分布が本質的にこのように関連していること、またはその点についてもガンマの導出方法を説明していません。これにより、複雑な方法で単純に強調した下位レベルの真実がいくつかあると思いますか？

normal-distribution gamma-distribution

— timxyz
ソース

確率論に関する多くの学部の教科書は、上記のすべての結果に言及しています。しかし、おそらく統計テキストはこれらのアイデアをカバーしていませんか？いずれの場合においても、

確率変数

単にさ

ここで

標準正規確率変数であるので（IID変数に対する）

単にスケーリングされた

N (0, σ^{2})

$N(0,\sigma^2)$

Y_{i}

$Y_i$

σ X_{i}

$\sigma X_i$

X_{i}

$X_i$

\sum_{i} Y_{i}^{2} = σ^{2} \sum_{i} X_{i}^{2}

$\sum_i Y_i^2 = \sigma^2 \sum_i X_i^2$

χ^{2}

$\chi^2$ 確率論は、確率論を研究した人にとって驚くべきことではありません。

— ディリップサルベート

私はコンピュータビジョンのバックグラウンドから来ているので、通常確率論に出くわすことはありません。私の教科書（またはウィキペディア）のいずれもこの解釈に言及していません。私はまた、2つの正規分布の平方和について特別なことを求めていると思うので、待機時間の良いモデルになります（すなわち、指数分布）。もっと深いものが足りないように感じます。

— timxyz

ウィキペディアはカイ二乗分布をen.wikipedia.org/wiki/Chi-squared_distribution#Definitionの二乗法の合計として定義し、カイ二乗はガンマの特別なケースであると述べているため（en.wikipedia.org/wikiで） / Gamma_distribution＃Others）、これらの関係があまり知られていないと主張することはほとんどできません。分散自体は、すべての場合に測定単位（スケールパラメーター）を確立するだけであるため、追加の複雑さはまったく導入されません。

— whuber

これらの結果は確率と統計の分野ではよく知られていますが、独自の分析でそれらを再発見するために@timxyzによく行われます。

— モニカの復活

接続は神秘的ではありません。それは、それらが分布の指数関数族のメンバーであるためです。その顕著な特性は、変数および/またはパラメーターの置換によって到達できることです。以下の例の回答を参照してください。

— カール

回答:

サルワテ教授のコメントが指摘したように、二乗正規分布とカイ二乗の関係は非常に広く普及している事実です-カイ二乗はガンマ分布の特殊なケースにすぎないという事実もあるはずです：

X \sim N (0, σ^{2}) \Rightarrow X^{2} / σ^{2} \sim χ_{1}^{2} \Rightarrow X^{2} \sim σ^{2} χ_{1}^{2} = Gamma (\frac{1}{2}, 2 σ^{2})

$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$

ガンマのスケーリングプロパティに続く最後の等式。

指数関数との関係に関しては、正確には、他のの分散でスケーリングされた 2つのゼロ平均法線の合計であり、指数分布になります。

X_{1} \sim N (0, σ_{1}^{2}), X_{2} \sim N (0, σ_{2}^{2}) \Rightarrow \frac{X_{1}^{2}}{σ_{1}^{2}} + \frac{X_{2}^{2}}{σ_{2}^{2}} \sim χ_{2}^{2} \Rightarrow \frac{σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2}}{σ_{1}^{2} σ_{2}^{2}} \sim χ_{2}^{2}

$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$

\Rightarrow σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2} \sim σ_{1}^{2} σ_{2}^{2} χ_{2}^{2} = Gamma (1, 2 σ_{1}^{2} σ_{2}^{2}) = Exp (\frac{1}{2 σ_{1}^{2} σ_{2}^{2}})

$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$

しかし、2つの2 乗ゼロの合計に「何か特別な」または「より深い」があるという疑いは、「それらを待機時間の良いモデルにする」正規平均を意味します：まず、指数分布について特別なことは何ですかそれは「待ち時間」のための良いモデル？もちろん無記憶ですが、ここには何か「より深い」ものがありますか、それとも指数分布関数の単純な関数型との特性ですか？ユニークなプロパティは数学のあちこちに散らばっており、ほとんどの場合、「より深い直観」や「構造」を反映していません-ただ存在します（ありがたいことに）。 $e$

第二に、変数の二乗はそのレベルとはほとんど関係がありません。ただ、考える、たとえば、中に $f(x) = x$ ： $[-2,\,2]$

ここに画像の説明を入力してください

...または標準平方密度をカイ2乗密度に対してグラフ化します。2番目は1番目の平方である変数の密度であるため、それらは非常に密接に関連しているにもかかわらず、まったく異なる確率的挙動を反映して表します。法線は、確率的挙動をモデル化するために開発した数学的システムの非常に重要な柱かもしれません-しかし、ひとたびそれを二乗すると、それはまったく別のものになります。

— アレコスパパドプロス
ソース

特に私の最後の段落の質問に答えてくれてありがとう。

— timxyz 14年

どういたしまして。質問が投稿されてから26か月後に元のOPに回答が届いたことをうれしく思います。

— アレコスパパドプロ14

提起された質問に対処しましょう。これはすべて私にとってやや不可解です。正規分布はガンマ分布の導出の基本ですか？謎ではありません。単に、正規分布とガンマ分布が指数分布のメンバーであることが単純です。このファミリーは、パラメーターや変数の置換によって等式形式を変換する能力によって定義されます。結果として、分布間の置換による変換が多くありますが、そのうちのいくつかを下の図に要約します。

LEEMIS、ローレンスM。ジャクリンT. MCQUESTON（2008年2月）。「単変量分布関係」（PDF）。アメリカの統計学者。62（1）：45–53。doi：10.1198 / 000313008x270448 引用

以下に、2つの正規分布とガンマ分布の関係を詳細に示します（カイ2乗やベータ経由など、不明な数のその他の関係）。

最初に、ガンマ分布（GD）と平均ゼロの正規分布（ND）の間のより直接的な関係が続きます。簡単に言えば、GDの形状パラメーターが増加すると、GDの形状は正常になります。それが事実であることを証明することはより困難です。GDの場合、

GD (z; a, b) = \begin{array}{cc} {\begin{cases} \frac{b^{- a} z^{a - 1} e^{- \frac{z}{b}}}{Γ (a)} & z > 0 \\ 0 & other \end{cases} . \end{array}

$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$

GD形状パラメーターとして、GD形状はより対称的かつ正常になりますが、増加とともに平均が増加するにつれて、GDを左にシフトする必要があります $a\rightarrow \infty$ $a$ で固定し、最後に、シフトしたGDで同じ標準偏差を維持したい場合は、スケールパラメーター（）を比例して減少させる必要があります $(a-1) \sqrt{\dfrac{1}{a}} k$ $b$ 。 $\sqrt{\dfrac{1}{a}}$

つまり、GDを極限ケースNDに変換するにはすることで標準偏差を定数（に設定します $k$ $b=\sqrt{\dfrac{1}{a}} k$ $z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

GD ((a - 1) \sqrt{\frac{1}{a}} k + x; a, \sqrt{\frac{1}{a}} k) = \begin{array}{cc} {\begin{cases} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} & x > \frac{k (1 - a)}{\sqrt{a}} \\ 0 & other \end{cases} \end{array} .

$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$

$a\rightarrow\infty$ $x$ $\rightarrow -\infty$ $a\rightarrow \infty$

lim_{a \to \infty} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} = \frac{e^{- \frac{x^{2}}{2 k^{2}}}}{\sqrt{2 π} k} = ND (x; 0, k^{2})

$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$

Graphically for $k=2$ and $a=1,2,4,8,16,32,64$ the GD is in blue and the limiting $\text{ND}\left(x;0,\ 2^2\right)$ is in orange, below

Second Let us make the point that due to the similarity of form between these distributions, one can pretty much develop relationships between the gamma and normal distributions by pulling them out of thin air. To wit, we next develop an "unfolded" gamma distribution generalization of a normal distribution.

Note first that it is the semi-infinite support of the gamma distribution that impedes a more direct relationship with the normal distribution. However, that impediment can be removed when considering the half-normal distribution, which also has a semi-infinite support. Thus, one can generalize the normal distribution (ND) by first folding it to be half-normal (HND), relating that to the generalized gamma distribution (GD), then for our tour de force, we "unfold" both (HND and GD) to make a generalized ND (a GND), thusly.

The generalized gamma distribution

GD (x; α, β, γ, μ) = \begin{array}{cc} {\begin{cases} \frac{γ e^{- {(\frac{x - μ}{β})}^{γ}} {(\frac{x - μ}{β})}^{α γ - 1}}{β Γ (α)} & x > μ \\ 0 & other \end{cases} \end{array},

$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$

Can be reparameterized to be the half-normal distribution,

GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) = \begin{array}{cc} {\begin{cases} \frac{2 θ e^{- \frac{θ^{2} x^{2}}{π}}}{π} & x > 0 \\ 0 & other \end{cases} \end{array} = HND (x; θ)

$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$

Note that $\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$ Thus,

ND (x; 0, σ^{2}) = \frac{1}{2} HND (x; θ) + \frac{1}{2} HND (- x; θ) = \frac{1}{2} GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) + \frac{1}{2} GD (- x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0),

$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$

which implies that

\begin{aligned} GND (x; μ, α, β) & = \frac{1}{2} GD (x; \frac{1}{β}, α, β, μ) + \frac{1}{2} GD (- x; \frac{1}{β}, α, β, μ) \\ = \frac{β e^{- {(\frac{| x - μ |}{α})}^{β}}}{2 α Γ (\frac{1}{β})} \end{aligned},

$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$

is a generalization of the normal distribution, where $\mu$ is the location, $\alpha>0$ is the scale, and $\beta>0$ is the shape and where $\beta=2$ yields a normal distribution. It includes the Laplace distribution when $\beta=1$ . As $\beta\rightarrow\infty$ , the density converges pointwise to a uniform density on $(\mu-\alpha,\mu+\alpha)$ . Below is the generalized normal distribution plotted for $\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$ in blue with the normal case $\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$ in orange.

The above can be seen as the generalized normal distribution Version 1 and in different parameterizations is known as the exponential power distribution, and the generalized error distribution, which are in turn one of several other generalized normal distributions.

— Carl
ソース

The derivation of the chi-squared distribution from the normal distribution is much analogous to the derivation of the gamma distribution from the exponential distribution.

これを一般化できるはずです：

もし $X_i$ パワー係数を持つ一般化正規分布からの独立変数 $m$ それから $Y = \sum_{i}^n {X_i}^m$ スケーリングされたカイ2乗分布（「自由度」が $n/m$ ）。

類推は次のとおりです。

正規分布とカイ2乗分布は、平方和に関連しています

複数の独立した標準正規分布変数の結合密度分布は、 $\sum x_i^2$
$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$
もし $X_i \sim N(0,1)$

それから $\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

指数分布とガンマ分布は正規和に関連しています

複数の独立した指数分布変数の結合密度分布は、 $\sum x_i$

$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$
もし $X_i \sim Exp(\lambda)$

それから $\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

導出は、すべてではなく統合された変数の変更によって行うことができます $x_1,x_2,...x_n$ 代わりに、合計された期間のみです（これは、ピアソンが1900年に行ったことです）。これは、両方のケースで非常によく似ています。

のために $\chi^2$ 分布：

\begin{array}{rcl} f_{χ^{2} （ n ）} （ s ） d s & = & \frac{e^{- s / 2}}{{（ 2 π ）}^{n / 2}} \frac{d V}{d s} d s \\ = & \frac{e^{- s / 2}}{{（ 2 π ）}^{n / 2}} \frac{π^{n / 2}}{Γ （ n / 2 ）} s^{n / 2 - 1} d s \\ = & \frac{1}{2^{n / 2} Γ （ n / 2 ）} s^{n / 2 - 1} e^{- s / 2} d s \end{array}

$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$

どこで $V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$ 半径が2乗のnボールのn次元ボリューム $s$ 。

ガンマ分布の場合：

\begin{array}{rcl} f_{G （ n 、 λ ）} （ s ） d s & = & \frac{e^{- λ s}}{λ^{- n}} \frac{d V}{d s} d s \\ = & \frac{e^{- λ s}}{λ^{- n}} n \frac{s^{n - 1}}{n ！} d s \\ = & \frac{λ^{n}}{Γ （ n ）} s^{n - 1} e^{- λ s} d s \end{array}

$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$

どこで $V(s) = \frac{s^n}{n!}$ は、n- ポリトープのn次元の体積で、 $\sum x_i < s$ 。

ガンマ分布は待ち時間として見ることができます $Y$ のために $n$ の合計として分布するポアソンプロセスの第5イベント $n$ 指数分布変数。

Alecos Papadopoulosがすでに指摘したように、2乗法線変数の合計を「待機時間の良いモデル」にする深い関係はありません。ガンマ分布は、一般化された正規分布変数の合計の分布です。それが、この2つの組み合わせです。

ただし、合計のタイプと変数のタイプは異なる場合があります。ガンマ分布は、指数分布（p = 1）から導出されると、指数分布の解釈（待機時間）を取得しますが、逆になって二乗ガウス変数の合計に戻り、同じ解釈を使用することはできません。

指数関数的に減少する待機時間の密度分布と、ガウス誤差の密度分布は指数関数的に減少します（正方形で）。これは、接続された2つを見る別の方法です。

— セクストゥス・エンピリカス
ソース