3つのランダム変数の相関の限界

28

3つのランダム変数があります $x,y,z$ 。3つの変数間の3つの相関は同じです。あれは、

ρ = cor (x, y) = cor (x, z) = cor (y, z)

$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$

与えることができる最も厳しい限界は何 $\rho$ ですか？

correlation correlation-matrix

— user1352399
ソース

1

おそらく「pho」とは、rho（

ρ

$\rho$ ）を意味します。しかし、あなたの質問は明確ではありません。「あなたが与えることができる最も厳しい限界は何ですか」とはどういう意味ですか？

— グング-モニカの復職

さて、変数の名前は単なるダミーです。最強の限界とは、相関の[-1、1]のようなものを意味しますが、これは明らかに可能な限り厳密な限界ではありません。

— user1352399

rho = cor（x、y）= cor（x、z）= cor（y、z）という意味ですか？rhoの制限は何ですか？

— user31264

はい、rho = cor（x、y）= cor（x、z）= cor（y、z）であり、rhoの限界は何ですか。Dilip、それを拡張してrhoは非負、つまり0以上でなければならない、と言うことができますか？

— user1352399

1

これを引用する教科書は、Seber＆Lee "Linear Regression Analysis"（少なくとも初版では...）

— kjetil b halvorsen

29

共通の相関 $\rho$ 値は $+1$ 、はありません $-1$ 。もし $\rho_{X,Y}= \rho_{X,Z}=-1$ 、次に $\rho_{Y,Z}$ 等しくできない $-1$ が、実際には $+1$ 。3つの確率変数の共通相関の最小値は $-\frac{1}{2}$ です。より一般的には、 $n$ 確率変数の最小共通相関は $-\frac{1}{n-1}$ 、ベクトルと見なされると、次元空間の（次元 $n-1$ ）シンプレックスの頂点にあります。 $n$

単位分散の確率変数合計の分散を考えます。我々はそれが持っているここでは平均値のの相関係数。しかし、以来、我々は容易に取得することを $n$ $X_i$

\begin{aligned} var (\sum_{i = 1}^{n} X_{i}) & = \sum_{i = 1}^{n} var (X_{i}) + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} cov (X_{i}, X_{j}) \\ = n + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} ρ_{X_{i}, X_{j}} \\ (1) & = n + n (n - 1) \bar{ρ} \end{aligned}

$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$

\bar{ρ}

$\bar{\rho}$

(\binom{n}{2})

$\binom{n}{2}$

var (\sum_{i} X_{i}) \geq 0

$\operatorname{var}\left(\sum_i X_i\right) \geq 0$

(1)

$(1)$

\bar{ρ} \geq - \frac{1}{n - 1} .

$\bar{\rho} \geq -\frac{1}{n-1}.$

したがって、相関係数の平均値は 少なくとも です。場合、すべての相関係数を有する同じ値、次いで、それらの平均も等しくと我々は持っているので共通の相関値が等しいランダム変数を持つことは可能ですか？はい。が無相関の 単位分散ランダム変数であり、を設定すると仮定し。次に、、一方 $-\frac{1}{n-1}$ $\rho$ $\rho$

ρ \geq - \frac{1}{n - 1} .

$\rho \geq -\frac{1}{n-1}.$

ρ

$\rho$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

X_{i}

$X_i$

Y_{i} = X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j} = X_{i} - \bar{X}

$Y_i = X_i - \frac{1}{n}\sum_{j=1}^n X_j = X_i -\bar{X}$

E [Y_{i}] = 0

$E[Y_i]=0$

var (Y_{i}) = {(\frac{n - 1}{n})}^{2} + (n - 1) {(\frac{1}{n})}^{2} = \frac{n - 1}{n}

$\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$ および与えしたがって、はの最小共通相関値を達成するランダム変数です。メモ、なお、その、及びので、ベクトルとみなし、確率変数を内にあるの次元超平面

cov (Y_{i}, Y_{j}) = - 2 (\frac{n - 1}{n}) (\frac{1}{n}) + (n - 2) {(\frac{1}{n})}^{2} = - \frac{1}{n}

$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$

ρ_{Y_{i}, Y_{j}} = \frac{cov (Y_{i}, Y_{j})}{\sqrt{var (Y_{i}) var (Y_{j})}} = \frac{- 1 / n}{(n - 1) / n} = - \frac{1}{n - 1} .

$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$

Y_{i}

$Y_i$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

(n - 1)

$(n-1)$

n

$n$ 次元空間。

— ディリップ・サルワテ
ソース

25

可能な限り厳しい境界はです。 $-1/2 \le \rho \le 1$ そのような値はすべて実際に表示される可能性があり、不可能なものはありません。

結果について特に深いまたは神秘的なものは何もないことを示すために、この答えは最初に完全な初歩的な解決策を提示します。これに続いて、一般的な解決策が行われます（わずかに洗練された代数的事実を使用します）。

基本的な解決策

線形結合の分散は非負でなければなりません。 $x,y,z$ これらの変数の分散をそれぞれおよびとします。すべてはゼロ以外です（そうでないと、相関の一部が定義されません）。分散の基本的な特性を使用して、計算することができます $\sigma^2, \tau^2,$ $\upsilon^2$

0 \leq Var (α x / σ + β y / τ + γ z / υ) = α^{2} + β^{2} + γ^{2} + 2 ρ (α β + β γ + γ α)

$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$

すべての実数について。 $(\alpha, \beta, \gamma)$

仮定すると、少し代数的な操作はこれが $\alpha+\beta+\gamma\ne 0$

\frac{- ρ}{1 - ρ} \leq \frac{1}{3} {(\frac{\sqrt{(α^{2} + β^{2} + γ^{2}) / 3}}{(α + β + γ) / 3})}^{2} .

$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$

右側の2乗項は、の2つのべき平均の比です。基本電力平均不等式（重みを有する）その比を超えることができないアサート（と等しくなるたとき）。もう少し代数は $(\alpha, \beta, \gamma)$ $(1/3, 1/3, 1/3)$ $1$ $1$ $\alpha=\beta=\gamma\ne 0$

ρ \geq - 1 / 2.

$\rho \ge -1/2.$

以下のの明示的な例（変量正規変数）は、そのような値すべてが実際に相関として生じることを示しています。この例では、多変量法線の定義のみを使用しますが、それ以外の場合は微積分または線形代数の結果を呼び出しません。 $n=3$ $(x,y,z)$ $-1/2 \le \rho \le 1$

一般的な解決策

概要

すべての相関行列は、すべての相関行列と同様に、標準化されたランダム変数の共分散行列であり、半正定でなければなりません。同様に、その固有値は負ではありません。これは単純な条件を課します：より小さくてはいけません（もちろん超えることはできません）。逆に、そのような実際にはいくつかの三変量分布の相関行列に対応し、これらの境界が可能な限り厳密であることを証明します。 $\rho$ $-1/2$ $1$ $\rho$

の条件の導出 $\rho$

検討によって全ての非対角値との相関行列に等しい（質問はの場合に関するものですが、この一般化は分析するのが難しくありません。）それをと呼びましょう定義により、は、次のような非ゼロのベクトルが存在する場合の固有値です。 $n$ $n$ $\rho.$ $n=3,$ $\mathbb{C}(\rho, n).$ $\lambda$ $\mathbf{x}_\lambda$

C (ρ, n) x_{λ} = λ x_{λ} .

$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$

これらの固有値は、このケースでは簡単に見つけることができます。

まかせ、コンピュートその $\mathbf{1} = (1, 1, \ldots, 1)'$

$C (ρ, n) 1 = (1 + (n - 1) ρ) 1 .$ $\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$
まかせとでのみための場所（）、それを計算する $\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$ $1$ $j^\text{th}$ $j = 2, 3, \ldots, n$

$C (ρ, n) y_{j} = (1 - ρ) y_{j} .$ $\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$

これまでに見つかった固有ベクトルは、次元空間全体に及ぶため（証拠：行の簡約により、がゼロ以外の行列式の絶対値を示す）、すべての固有ベクトルの基礎を構成します。したがって、すべての固有値を見つけ、それらがまたは（多重度後者あると判断しました。すべての相関によって満たされる既知の不等式に加えて、最初の固有値の非負性はさらに意味します $n$ $n$ $n$ $1+(n-1)\rho$ $1-\rho$ $n-1$ $-1 \le \rho \le 1$

ρ \geq - \frac{1}{n - 1}

$\rho \ge -\frac{1}{n-1}$

一方、2番目の固有値の非負性は新しい条件を課しません。

条件の十分性の証明

含意は両方向に機能します：、行列は非負定であり、したがって有効な相関行列です。たとえば、多重正規分布の相関行列です。具体的には、 $-1/(n-1)\le \rho \le 1,$ $\mathbb{C}(\rho, n)$

Σ (ρ, n) = (1 + (n - 1) ρ) I_{n} - \frac{ρ}{(1 - ρ) (1 + (n - 1) ρ)} 1 1^{'}

$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$

場合のの逆数の場合たとえば、場合 $\mathbb{C}(\rho, n)$ $-1/(n-1) \lt \rho \lt 1.$ $n=3$

Σ (ρ, 3) = \frac{1}{(1 - ρ) (1 + 2 ρ)} (\begin{array}{ccc} ρ + 1 & - ρ & - ρ \\ - ρ & ρ + 1 & - ρ \\ - ρ & - ρ & ρ + 1 \end{array}) .

$\color{gray}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$

確率変数のベクトルに分布関数を持たせる $(X_1, X_2, \ldots, X_n)$

f_{ρ, n} (x) = \frac{\exp (- \frac{1}{2} x Σ (ρ, n) x^{'})}{(2 π)^{n / 2} {((1 - ρ)^{n - 1} (1 + (n - 1) ρ))}^{1 / 2}}

$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$

ここで、。たとえば、場合、これは次と等しくなります。 $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ $n=3$

\frac{1}{\sqrt{（ 2 π ）^{3} （ 1 - ρ ）^{2} （ 1 + 2 ρ ）}} \exp （ - \frac{（ 1 + ρ ） （ {バツ}^{2} + y^{2} + z^{2} ） - 2 ρ （ バツ y + y z + z バツ ）}{2 （ 1 - ρ ） （ 1 + 2 ρ ）} ） 。

$\color{gray}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$

これらのランダム変数の相関行列は $n$ $\mathbb{C}(\rho, n).$

密度関数輪郭左から、。密度が平面付近に集中している状態から、線付近に集中している状態にどのようにシフトするかに注意してください。 $f_{\rho,3}.$ $\rho=-4/10, 0, 4/10, 8/10$ $x+y+z=0$ $x=y=z$

特殊なケースおよびは、縮退分布によっても実現できます。前者の場合、分布は超平面でサポートされていると考えることができることを指摘する以外は、詳細には触れません正規分布。後者の場合（完全な正の相関）、によって生成されるラインでサポートされます。平均正規分布を持ちます。 $\rho = -1/(n-1)$ $\rho = 1$ $\mathbf{x}.\mathbf{1}=0$ $0$ $\mathbf{1}'$ $0$

非縮退の詳細

この分析のレビューにより、相関行列のランクはあり、のランクは明らかです。（一方のみ固有ベクトルが非ゼロ固有値を有するため）。以下のために、これはいずれの場合も相関行列縮退を行います。そうでない場合、その逆の存在は、それが非縮退であることを証明します。 $\mathbb{C}(-1/(n-1), n)$ $n-1$ $\mathbb{C}(1, n)$ $1$ $n\ge 2$ $\Sigma(\rho, n)$

— ウーバー
ソース

20

あなたの相関行列は

（ \begin{matrix} 1 & ρ & ρ \\ ρ & 1 & ρ \\ ρ & ρ & 1 \end{matrix} ）

$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$

主要な主要マイナーがすべて非負である場合、行列は半正定です。主要な未成年者は、行列の「北西」ブロックの行列式、つまり1の行列式です。

（ \begin{matrix} 1 & ρ \\ ρ & 1 \end{matrix} ）

$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$

相関行列自体の行列式。

1は明らかに正であり、2番目の主マイナーはであり、許容される相関に対して非負です。相関行列全体の行列式は $1-\rho^2$ $\rho\in[-1,1]$

2 ρ^{3} - 3 ρ^{2} + 1。

$2\rho^3-3\rho^2+1.$

プロットは、許容可能な相関範囲にわたる関数の行列式を示しています。 $[-1,1]$ ここに画像の説明を入力してください

関数は、@ stochazesthaiで指定された範囲で負ではありません（行列式の根を見つけることで確認できます）。

— クリストフ・ハンク
ソース

あなたの答えでと仮定していませんか？なぜできますか？

V a r () = 1

$Var( )=1$

— 海の老人。

1

@Anold「相関」が書かれている「共分散」を読んでいるようです。

— whuber

6

相関行列が正の半正である場合にのみ、ペアワイズ相関を持つランダム変数、、が存在しますこれはます。 $X$ $Y$ $Z$ $\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$ $\rho \in [-\frac{1}{2},1]$

— ストチャゼストタイ
ソース

2

これを非常に簡単な言葉で説明できますか。

— エリザベススーザンジョセフ

1

行列代数の知識を必要としない説明は存在しないと思います。ウィキペディアのページ（en.wikipedia.org/wiki/…）をご覧になることをお勧めします。

— stochazesthai

4

私は基本的な（高校レベルの）代数のみを必要とする説明を見つけ、それを私の答えに含めました。