結合分布がガウスではないガウス確率変数のペアを持つことは可能ですか？

就職の面接で誰かが私にこの質問をしましたが、彼らの共同分布は常にガウス分布であると答えました。私はいつでも平均と分散と共分散を持つ二変量ガウスを書くことができると思いました。2つのガウス分布の結合確率がガウス分布ではない場合がありますか？

二変量正規分布は例外であり、規則ではありません！

正規の周辺を持つ「ほぼすべての」結合分布は、二変量正規分布ではないことを認識することが重要です。つまり、2変量正規分布ではない正規の周辺分布を持つ結合分布は、何らかの形で「病理学的」であるという一般的な視点は、少し見当違いです。

確かに、多変量法線は線形変換の下での安定性のために非常に重要であり、そのためアプリケーションで大きな注目を集めています。

例

いくつかの例から始めると便利です。次の図には、6つの2変量分布のヒートマップが含まれています。すべての分布には標準の正規分布があります。一番上の行の左と中央のものは二変量法線であり、残りのものはそうではありません（明らかなはずです）。以下でさらに説明します。

コピュラの裸の骨

依存関係のプロパティは、多くの場合、コピュラを使用して効率的に分析されます。二変量コピュラは、単位正方形上の確率分布のためだけ空想名前であるで均一な周辺分布。$[0,1]^2$

仮定二変量コピュラです。次に、上記からすぐに、たとえば、およびであることがわかります。$C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

2変量コピュラの単純な変換により、事前に指定された周辺を持つユークリッド平面で2変量ランダム変数を構築できます。ましょうと確率変数のペアのための周辺分布を規定する。次に、が2変量コピュラの場合、 は周辺および 2変量分布関数です。この最後の事実を見るには、 同じ引数がます。F 2（X 、Y ）C （u 、v ）F （x 、y ）= C （F 1（x ）、F 2（y ））F 1 F $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ $F_1$$F_2$ $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$

と連続している場合、Sklarの定理は、一意性を意味する逆を主張します。つまり、連続的な周辺、持つ2変量分布が与えられた場合、対応するコピュラは一意です（適切な範囲空間上）。$F_1$$F_2$$F(x,y)$$F_1$$F_2$

二変量正規は例外的です

Sklarの定理は、（本質的に）2変量正規分布を生成するコピュラが1つしかないことを示しています。これは、適切な名前であり、ガウス・コピュラに密度を有している ここで分子は、および評価された相関持つ二変量正規分布です。。$[0,1]^2$

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

しかし、他のコピュラがたくさんあり、それらはすべて前のセクションで説明した変換を使用することにより、2変量正規分布ではない正規の周辺を持つ2変量分布を与えます。

例の詳細

場合ことに注意してください AMである任意の濃度とコピュラ変換の下で標準正規周辺分布と、対応する二変量密度は $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

上記の方程式でガウスコピュラを適用すると、2変量正規密度が復元されることに注意してください。しかし、他の選択については、そうしません。$c(u,v)$

図の例は、次のように構成されています（各行を一度に1列ずつ移動します）。

1. 独立成分を持つ二変量正規分布。
2. 変量正規分布。$\rho = -0.4$
3. この回答に与えられた例のディリップSarwate。密度のコピュラによって誘発されることが容易に。$C(u,v)$$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. パラメーターのフランクコピュラから生成されます。$\theta = 2$
5. パラメーターのClaytonコピュラから生成されます。$\theta = 1$
6. パラメーター Claytonコピュラの非対称修正から生成されます。$\theta = 3$

多変量正規ベクトルの各要素自体が正規分布していることは事実であり、その平均と分散を推定できます。ただし、2つのGuassian確率変数が一緒に正規分布しているというのは事実ではありません。以下に例を示します。

編集：点質量であるランダム変数は正規分布変数と考えることができるというコンセンサスに応えて、例を変更しています。$\sigma^2=0$

---

ましょおよびletである確率変数。つまり、それぞれが確率です。$X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

最初に、に標準正規分布があることを示します。$Y$全確率の法則により、

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

次、

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

どこを標準正規CDFです。同様に、$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

したがって、

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

したがって、のCDF はであるため、です。$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

ここで、が一緒に正規分布していないことを示します。$X,Y$@cardinalが指摘しているように、多変量正規の特徴の1つは、その要素のすべての線形結合が正規分布していることです。はこのプロパティはありません。$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

したがって、は確率変数と0の点質量の混合物であるため、正規分布できません。$Y+X$$50/50$$N(0,4)$

次の投稿には、主なアイデアを示して開始するために、証明の概要が含まれています。

ましょう二つの独立したガウス確率変数であるとletである $z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

各ですが、これらは両方とも同じ独立したr.vsの線形結合であるため、一緒に依存しています。$X_i \sim N(\mu_i, \sigma_i^2)$

定義 r.vsのペアは、独立した正規のr.vs線形結合として記述できる場合、2変量正規分布と呼ばれます。$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

補題 場合二変量ガウス分布である場合、それらの任意の他の線形組み合わせが再び正規確率変数です。$x = (X_1, X_2)$

証明。些細なことで、誰にも怒らないようにスキップされました。

プロパティ 場合は無相関である、それらは独立しており、その逆。$X_1, X_2$

配布$X_1 | X_2$

想定前けれどものは、彼らが正の分散を有する、ゼロを簡単にするために意味と仮定してみましょうと同じガウスr.vsあります。$X_1, X_2$

がにまたがる部分空間の場合、および。$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$とは線形結合なので、も線形結合です。それらは、ガウス型であり、無相関（証明）で独立しています。$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

分解 は、

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

次に

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

2つの単変量ガウス確率変数は、条件式ともガウスです。$X, Y$$X | Y$$Y|X$