3つの変数の共分散

私は共分散行列がどのように機能するかを理解しようとしています。したがって、 2つの変数があるとします。ここで、変数間の関係、つまり、一方が他方にどれだけ依存しているかを示します。 $X, Y$ $\text{Cov}(X,Y) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])]$

さて、3つの変数のケースは私にはあまり明確ではありません。共分散関数の直感的な定義は、ですが、代わりに、変数のペアごとに2つの変数の共分散として定義されている共分散行列を使用することが文献で提案されています。 $\text{Cov}(X,Y,Z) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$

では、共分散には変数関係に関する完全な情報が含まれていますか？もしそうなら、私の定義との関係は何ですか？ $\text{Cov}(X,Y,Z)$

correlation covariance moments

— カロリス
ソース

私の考えでは、私の定義は単に機能しないと思います。しかし、共分散行列は、すべての変数間の関係を定量化するのに十分ですか？

— Karolis、2016

共分散行列は、すべての変数間の共分散を定量化するのに十分ですが、「関係」は概念を一般化するためのものではありません（変数は、共分散によって捕捉されないさまざまな非線形の方法で関連または依存する可能性があります）。これの例外は、多変量正規の変数を知っている場合です。

— ザカリーブルーメンフェルド2016

@ZacharyBlumenfeldに感謝！これについて良い教科書を勧めてくれませんか。

— Karolis 2016

違いは何であると

項の

？私はあなたが

何を意味するか知っています-確率変数です-そして

-それは

の期待値、実数です-しかし

は何ですか？

が別の実数の場合、

は実数であり、ランダムなものではないため、定義は

x

$x$

X

$X$

x - E [X]

$x-E[X]$

X

$X$

E [X]

$E[X]$

X

$X$

x

$x$

x

$x$

x - E [X]

$x-E[X]$

実数の期待値は実数そのものなので。

cov (X, Y, Z) = E [(x - E [X]) (y - E [Y]) (z - E [Z])] = (x - E [X]) (y - E [Y]) (z - E [Z])

$\operatorname{cov}(X,Y,Z) = E[(x -E[X])(y-E[Y])(z-E[Z])] = (x -E[X])(y-E[Y])(z-E[Z])$

— Dilip Sarwate 2016

@ZacharyBlumenfeld、あなたのコメントはほぼ答えとみなされます。おそらく、少し拡張する必要があります（は3次の中央クロスモーメントです。それ以外の場合）、回答として投稿しますか？

E [(x - E [X]) (y - E [Y]) (z - E [Z])]

$\mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$

— Richard Hardy

ザカリーのコメントを拡張すると、「関係」は概念が広すぎるため、共分散行列は2つの確率変数間の「関係」をキャプチャしません。たとえば、2つの変数の相互依存関係を含めて、それらの「関係」の測定に含めたいと思います。ただし、は、それらが独立していることを意味しないことを知っています。たとえば、2つの確率変数X〜U（-1,1）とY = X ^ 2（短い証明、https：//en.wikipedia.org/wiki/Covariance#Uncorrelatedness_and_independenceを参照してください）。 $cov(X,Y)=0$

したがって、共分散に変数関係に関する完全な情報が含まれていると考える場合、質問のとおり、共分散がゼロの場合は依存関係がないことを示します。これは、共分散が捕捉しない非線形依存性が存在する可能性があると彼が言ったときにザッカリーが意味するものです。

ただし、を多変量正規、X〜Nます。次に、は独立です。は、すべての非対角要素= 0の対角行列です（すべての共分散= 0の場合）。 $X:=(X_{1},...,X_{n})'$ $N(\mu,\Sigma)$ $X_{1},...,X_{n}$ $\Sigma$

この条件が十分であることを確認するには、結合密度係数。

f （ {バツ}_{1} 、 。 。 。 、 {バツ}_{ん} ） = \frac{1}{\sqrt{（ 2 π ）^{ん} | Σ |}} e バツ p （ - \frac{1}{2} （ バツ - μ ）^{』} Σ^{- 1} （ バツ - μ ） ） = Π_{私 = 1}^{ん} \frac{1}{\sqrt{2 π σ_{私 私}}} e バツ p （ - \frac{（ {バツ}_{私} - μ_{私} ）^{2}}{2 σ_{私 私}} ） = f_{1} （ {バツ}_{1} ） 。 。 。 f_{ん} （ {バツ}_{ん} ）

$\begin{equation} f(x_{1},...,x_{n}) = \dfrac{1}{ \sqrt{(2 \pi)^{n} | \Sigma |}} exp(- \dfrac{1}{2} (x - \mu)' \Sigma^{-1} (x - \mu))= \Pi^{n}_{i=1} \dfrac{1}{\sqrt{2 \pi \sigma_{ii}}} exp(- \dfrac{(x_{i}-\mu_{i})^{2}}{2 \sigma_{ii}})=f_{1}(x_{1})...f_{n}(x_{n})\end{equation}$

条件が必要であることを確認するには、2変量のケースを思い出してください。場合と独立しており、次いで、とので、同じ分散を持つ必要があります $X_{1}$ $X_{2}$ $X_{1}$ $X_{1}|X_{2} = x_{2}$

σ_{11} = σ_{11 | 2} = σ_{11} - σ_{12}^{2} σ_{22}^{- 1}

$\begin{equation} \sigma_{11}=\sigma_{11|2}=\sigma_{11}-\sigma^{2}_{12} \sigma^{-1}_{22} \end{equation}$

これは、を意味し。同じ議論により、非対角要素はすべてゼロでなければなりません。 $\sigma_{12}=0$ $\Sigma$

（出典：Geert Dhaene教授のAdvanced Econometricsスライド）

— hrrrrrr5602
ソース