相関行列のゼロ固有値のための十分かつ必要な条件

11

確率変数与えられ、確率分布場合、相関行列は正の半明確、すなわちその固有値は正またはゼロです。 $n$ $X_i$ $P(X_1,\ldots,X_n)$ $C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

がゼロ固有値を持つために必要かつ/または十分であるの条件に興味があります。：例えば、十分条件では確率変数が独立していないということです、いくつかの実数。たとえば、 $P$ $C$ $m$ $\sum_i u_i X_i=0$ $u_i$ 、次いでの固有ベクトルであり、はゼロ固有値を有します。このタイプのに独立した線形制約が場合、ゼロ固有値を意味します。 $P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$ $\vec u=(1,-1,0,\ldots,0)$ $C$ $m$ $X_i$ $m$

ときに少なくとも1つの付加的な（しかし、些細な）可能性があり、一部の（すなわち、、）その場合、はゼロの列と行があります： $X_a=E[X_a]$ $a$ $P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$ $C_{ij}$ $C_{ia}=C_{ai}=0,\,\forall i$ 。あまり面白くないので、確率分布はそういう形ではないと思います。

私の質問は：線形制約がゼロ固有値を引き起こす唯一の方法ですか（上記の些細な例外を禁止する場合）、または確率変数に対する非線形制約もゼロ固有値を生成できます $C$ か？

correlation

— アダム
ソース

1

定義により、ゼロベクトルを含むベクトルのコレクションは線形に依存するため、追加される可能性は新しいものや異なるものではありません。あなたは、「持っていることによって何を意味するかを説明してもらえ

固有値を」？それはある種の誤植のようです。

m

$m$

— whuber

@whuber：はい、タイプミス。修正。2つの条件は異なると思います。1つは変数間の関係についてであり、もう1つは変数のみの確率についてです（つまり、

）。

p (X_{a}) = δ (X_{a} - E (X_{a}))

$p(X_a)=\delta(X_a-E(X_a))$

— アダム

あなたの質問の定式化は混乱しています。線形代数の基本定理のように見えますが、「独立した」確率変数への参照は、それが他の何かについて完全にかもしれないことを示唆しています。「独立」を使用するときは常に、（統計的に）独立したランダム変数の意味ではなく、線形独立の意味であると理解するのは正しいでしょうか？「ランダムな変数」が実際にはデータマトリックスの列のみを意味する可能性があることを示唆しているため、「欠損データ」への参照はさらに混乱します。これらの意味を明確にしておくとよいでしょう。

— whuber

@whuber：質問を編集しました。うまくいけば、それはより明確です。

— アダム

独立性の条件

は、各

平均がゼロでない限り、必ずしもゼロである必要はありません（任意の定数がそうです）。

\sum_{i} u_{i} X_{i} = 0

$\sum_i u_i X_i=0$

X_{i}

$X_i$

— Sextus Empiricus

6

おそらく、表記を単純化することで、本質的なアイデアを引き出すことができます。 すべてが純粋に代数的であるため、期待や複雑な式を含める必要がないことがわかります。

数学的オブジェクトの代数的性質

問題は、（1）ランダム変数有限集合の共分散行列と（2）ベクトルと見なされるこれらの変数間の線形関係の間の関係に関係します。 $X_1, \ldots, X_n$

当該ベクトル空間は、（任意の確率空間上のすべての有限分散確率変数の集合であるはほぼ確実に一定の変数の部分空間を法）、表記（つまり、我々は2つの確率変数を検討と同じになるように、ベクトルというゼロチャンスがあるときに我々は唯一の有限次元ベクトル空間を扱っている。その期待と異なっ）がによって発生する $(\Omega,\mathbb P)$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$ $X$ $Y$ $X-Y$ $V$ $X_i,$ これが、分析的な問題ではなく代数的な問題です。

分散について知っておくべきこと

は単なるベクトル空間ではありません。分散を備えているため、2次モジュールです。 分散について知っておくべきことは2つだけです。 $V$

分散は、すべてのベクトルに対してという特性を持つスカラー値関数 $Q$ $Q(aX)=a^2Q(X)$ $X.$
分散は非退化です。

2番目は、いくつかの説明が必要です。は、「内積」を決定します。これは、 $Q$

X \cdot Y = \frac{1}{4} (Q (X + Y) - Q (X - Y)) .

$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$

（これは、変数の共分散以外もちろん何である及び）ベクトルとあり、直交それらのドット積であるとき直交補ベクトルのセットの全てのベクトルから構成は、各要素に直交します書かれました $X$ $Y.$ $X$ $Y$ $0.$ $\mathcal A \subset V$ $\mathcal A,$

A^{0} = {v \in V ∣ a . v = 0 for all v \in V} .

$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$

それは明らかにベクトル空間です。場合、である非縮退。 $V^0 = \{0\}$ $Q$

それは明白に見えるかもしれませんが、分散が実際に非退化であることを証明させてください。仮定の非ゼロ要素であるこの手段のすべてのための同様に、 $X$ $V^0.$ $X\cdot Y = 0$ $Y\in V;$

Q (X + Y) = Q (X - Y)

$Q(X+Y) = Q(X-Y)$

すべてのベクトル撮影与えられます $Y.$ $Y=X$

4 Q (X) = Q (2 X) = Q (X + X) = Q (X - X) = Q (0) = 0

$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$

したがって、ただし、（おそらくチェビシェフの不等式を使用して）分散がゼロの確率変数のみがほぼ確実に一定であることを知っているため、 QEDのゼロベクトルでそれらを識別します。 $Q(X)=0.$ $V,$

質問の解釈

質問に戻りますが、前述の表記では、確率変数の共分散行列は、すべてのドット積の通常の配列です。

T = (X_{i} \cdot X_{j}) .

$T = (X_i\cdot X_j).$

考えるための良い方法がある：それは上で線形変換を定義する通常の方法で、任意のベクター送信することにより、ベクターにであり、その成分は行列乗算ルールによって与えられます $T$ $\mathbb{R}^n$ $x=(x_1, \ldots, x_n)\in\mathbb{R}^n$ $T(x)=y=(y_1, \ldots, x_n)$ $i^\text{th}$

y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} .

$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$

この線形変換の核は、ゼロに送信する部分空間です。

Ker (T) = {x \in R^{n} ∣ T (x) = 0} .

$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$

上記の式は意味そのときすべてのための $x\in \operatorname{Ker}(T),$ $i$

0 = y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} = X_{i} \cdot (\sum_{j} x_{j} X_{j}) .

$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$

これはすべての当てはまるので、またがるすべてのベクトル、つまり自体に当てはまります。したがって、場合によって与えられるベクトルにある分散は非縮退であるため、これは意味します。つまり、は元の確率変数間の線形従属性を表します。 $i,$ $X_i$ $V$ $x\in\operatorname{Ker}(T),$ $\sum_j x_j X_j$ $V^0.$ $\sum_j x_j X_j = 0.$ $x$ $n$

この推論の連鎖が可逆的であることをすぐに確認できます。

ベクトルとしての間の線形依存関係は、のカーネルの要素と1対1で対応しています $X_j$ $T.$

（このステートメントは、位置の一定のシフトまで、つまり、ランダム変数としてではなく要素として）定義されたを引き続き考慮します。 $X_j$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

$T$ $\lambda$ $x$ $T(x) = \lambda x.$ $\lambda=0$ $T.$

概要

$\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$ $T.$

参照

私は、第4章の表記法と言語の一部を、

Jean-Pierre Serre、算数のコース。 Springer-Verlag 1973。

— whuber
ソース

X_{j}

$X_j$

\vec{X} = (X_{1}, \dots, X_{n})

$\vec X=(X_1,\ldots,X_n)$

X_{i}

$X_i$

X_{1} = X_{2}

$X_1=X_2$

P

$P$

Q

$Q$

X_{1} = X_{2}

$X_1=X_2$

P

$P$

P \propto δ (X_{1} - X_{2})

$P\propto \delta(X_1-X_2)$ $X_1$ $X_2$

この状況での「デルタ関数」の使用を理解していないと思います、アダム。これは、必要がないこともあり、また表記法があいまいなためもあります。たとえば、それはクロネッカーデルタまたはディラックデルタでしょうか。

— whuber

M

$M$

X_{1}

$X_1$

X_{2}

$X_2$

X_{3}

$X_3$

X_{4}

$X_4$

P = \exp (- t r (M . M^{T}))

$P=\exp(-tr(M.M^T))$

X_{2} = X_{3}

$X_2=X_3$

P

$P$

δ (X_{1} - X_{2})

$\delta(X_1-X_2)$

（続き）問題は、変数に追加できる非線形制約のうち、何が0の固有値を誘導できるかです。あなたの答えでは、それは次のようです：（Martijn Weteringsの回答の下のコメントで例示されているように）線形制約を意味する非線形制約のみ。たぶん問題は私の問題の考え方が物理学者の観点からのものであり、私はそれを別の言語で説明するのに苦労しています（私はここにこの質問をするのに適切な場所、物理学.SEはないと思います）。

— アダム

5

リニア独立性だけでは十分ではなく、また neccesary条件

変数が線形独立でない場合に限り、分散共分散行列がゼロに等しい固有値を持っていることを示すために、「行列がゼロに等しい固有値を持っている場合、変数は線形独立ではない」ことを示すだけです。

$C_{ij} = \text{Cov}(X_i,X_j)$ $v$

Y = \sum_{i = 1}^{n} v_{i} (X_{i})

$Y = \sum_{i=1}^n v_i (X_i)$

そのような

\begin{array}{rcl} Cov (Y, Y) & = & \sum_{i = 1}^{n} \sum_{j = 1}^{n} v_{i} v_{j} Cov (X_{i}, X_{j}) \\ = & \sum_{i = 1}^{n} v_{i} \sum_{j = 1}^{n} v_{j} C_{i j} \\ = & \sum_{i = 1}^{n} v_{i} \cdot 0 \\ = & 0 \end{array}

$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$

$Y$ $X_i$

^{$\text{Cov}(Y,Y)$}

Cov (a U + b V, c W + d X) = a c Cov (U, W) + b c Cov (V, W) + a d Cov (U, X) + b d Cov (V, X)

$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$

\sum_{j = 1}^{n} v_{j} C_{i j} = 0

$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$

非線形制約

したがって、線形制約は（十分ではない）必要な条件であるため、非線形制約は、（必要な）線形制約を間接的に暗示する場合にのみ関連します。

実際、ゼロ固有値に関連付けられた固有ベクトルと線形制約の間には直接の対応関係があります。

C \cdot v = 0 ⟺ Y = \sum_{i = 1}^{n} v_{i} X_{i} = const

$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$

したがって、ゼロの固有値につながる非線形制約は、組み合わせて、いくつかの線形制約を生成する必要があります。

非線形拘束はどのようにして線形拘束につながるか

コメントの例は、これを直感的に示し、導出を逆にすることにより、非線形制約が線形制約にどのようにつながるかを示しています。次の非線形制約

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a c + b d & = & 0 \\ a d - b c & = & 1 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$

に減らすことができます

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a - d & = & 0 \\ b + c & = & 0 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$

$a=d$ $b=-c$ $a^2+b^2=1$ $ad-bc=1$ $a=d$ $c=-b$ $ac=-bd$

— Sextus Empiricus
ソース

Y = \sum_{i} ν_{i} X_{i}

$Y=\sum_i \nu_i X_i$

はい、私は知っている...私が言っていることは非線形依存性があるかどうかということであるとゼロ固有値があり、その後、あなたの答えによって、それは非直線的依存性が何らかの方法で「因数分解」することができることを意味し線形依存に。それは私が探していたものの弱いバージョンですが、それでも何かです。

— アダム

うまくいかない例を挙げているのは、それが事実ではないという意味ではありません...

— Adam

M

$M$

M . M^{T} = 1

$M.M^T=1$

det M = 1

$\det M=1$

det M = 1

$\det M=1$

M_{11} = X_{1}

$M_{11}=X_1$

M_{12} = X_{2}

$M_{12}=X_2$

M_{21} = X_{3}

$M_{21}=X_3$

M_{22} = X_{4}

$M_{22}=X_4$

X_{1}^{2} + X_{2}^{2} = 1

$X_1^2+X_2^2=1$

X_{3}^{2} + X_{4}^{2} = 1

$X_3^2+X_4^2=1$

X_{1} X_{3} + X_{2} X_{4} = 0

$X_1 X_3+X_2 X_4=0$

X_{1} X_{4} - X_{2} X_{3} = 1

$X_1 X_4-X_2 X_3=1$

2

$C$ $v$ $0$ $\operatorname{var}(v^T X) = v^T Cv = 0$ $v^TX$ $v^T E [X]$ $v^T X = v^T E[X]$ 。特別なケースを考慮する必要はありません。

したがって、我々は結論付けます：

「線形制約はゼロ固有値を誘導する唯一の方法である[？]」

はい。

「確率変数の非線形制約もCのゼロ固有値を生成できますか？」

はい、それらが線形制約を意味する場合。

— エクヴァル
ソース

同意する。非線形制約の種類にもっと具体的になることを期待していましたが、制約を指定しないと、より良いことは難しいと思います。

— アダム

2

$C$ $X$ $C=Q\Lambda Q^T$ $\Lambda.$ $\Lambda=Q^TCQ$ $Q^TX$ $X$

— ハッセ1987
ソース

Q^{T} C Q = cov (Q^{T} X)

$Q^TCQ = \text{cov}(Q^TX)$