サンプルの共分散行列は常に対称で正定値ですか？

33

サンプルの共分散行列を計算するとき、対称正定行列を取得することが保証されていますか？

現在、私の問題には4600の観測ベクトルと24次元のサンプルがあります。

sampling covariance

— モーテン
ソース

共分散行列のサンプリングには、次の式を使用しますここで、はサンプル数、はサンプル平均です。

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— モートン

4

これは通常、「共分散行列のサンプリング」ではなく、「標本共分散行列の計算」または「共分散行列の推定」と呼ばれます。

— Glen_b-モニカを復活させる

1

共分散行列が明確でない一般的な状況は、24の「次元」が合計が100％になる混合物の組成を記録する場合です。

— whuber

41

ベクトルのサンプルで、場合、サンプルの平均ベクトルはサンプル共分散行列はゼロ以外のベクトル場合、したがって、は常に正の半正定です。 $x_i=(x_{i1},\dots,x_{ik})^\top$ $i=1,\dots,n$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$

y \in R^{k}

$y\in\mathbb{R}^k$

y^{⊤} Q y = y^{⊤} (\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} \sum_{i = 1}^{n} y^{⊤} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1}{n} \sum_{私 = 1}^{n} {（ （ {バツ}_{私} - \bar{バツ} ）^{⊤} y ）}^{2} \geq 0 。 （ * ）

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$

Q

$Q$

が正定値であるための追加条件は、次のwhuberのコメントに記載されています。次のようになります。 $Q$

定義するため、。ゼロ以外の、各場合にのみ、はゼロです。セットまたがると仮定します。次に、ような実数があります。しかし、その後、私たちは持っているその得、、矛盾を。したがって、のスパンが場合、 $z_i=(x_i-\bar{x})$ $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ $y=0$ $z_i$ $\mathbb{R}^k$ $Q$ は正定値です。この条件はと同等です。 $\mathrm{rank} [z_1 \dots z_n] = k$

— 禅
ソース

2

私はこのアプローチが好きですが、いくつかの注意をお勧めします：は必ずしも正定値ではありません。そうするための（必要かつ十分な）条件は、コンスタンティンの答えに対する私のコメントで説明されています。

Q

$Q$

— whuber

1

ランクので小さいか等しい、条件がランクに簡略化することができるKに等しいです。

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— オファーは

13

正しい共分散行列は、*常に対称と正の半 *明確。

2つの変数間の共分散は、として定義されます。 $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

と位置を切り替えても、この方程式は変わりません。したがって、マトリックスは対称である必要があります。 $x$ $y$

また、次の理由から、正* 半 *定である必要があります。

共分散行列が対角になるように、変数の変換をいつでも見つけることができます。対角線上には、変換された変数の分散がゼロまたは正のいずれかであることがわかります。これにより、変換された行列が正の半正定行列になることが簡単にわかります。ただし、定義の定義は変換不変であるため、選択された座標系では共分散行列は正の半正定行列になります。

上記の式を使用して共分散行列を推定すると（つまり、サンプルの共分散を計算すると）、それは得られます。まだ対称的です。また、各サンプルについて、各サンプルポイントに等しい確率を与えるpdfはその共分散としてサンプル共分散を持っているため（誰かがこれを確認してください）、上記のすべてがまだ適用されるため、半正定値である必要があります（私は思う）。

— コンスタンティン・シューベルト
ソース

1

PS：私は...これはあなたの質問ではなかったことを考え始めています

— コンスタンチンシューベルト

ただし、サンプリングアルゴリズムがそれを保証しているかどうかを知りたい場合は、サンプリング方法を指定する必要があります。

— コンスタンチンシューベルト

1

モーテン、対称性は式から即座に得られます。半を示すには、任意のベクトルに対してを確立する必要があります。ただし、は合計の倍（で、は =。ベクトル長さの2乗。そのためと二乗和が今まで否定することはできません、、QED。これは、これらのベクトルに対してことも示してい

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$ これは、すべての（つまり、すべてのに対して）に直交します。スパンする場合、およびは明確です。

v_{i}

$v_i$

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— whuber

1

@Morten行列乗算を幾何学的に理解していれば、変換不変性は非常に明確です。ベクターを矢印と考えてください。ベクトルを記述する数値は座標系によって変わりますが、ベクトルの方向と長さは変わりません。現在、行列との乗算は、その矢印の長さと方向を変更することを意味しますが、効果は各座標系で幾何学的に同じです。スカラー積の場合も同じです。幾何学的に定義され、Geometriyは変換不変です。したがって、方程式はすべてのシステムで同じ結果になります。

— コンスタンチンシューベルト

1

@Morten座標で考えると、引数は次のようになります：が変換行列の場合：とを変換された座標ベクトル、、各要素を変換するとき方程式場合、になり。これはに等しく、Aは直交するため、は単位行列であり、再び取得し。これは、変換された方程式と変換されていない方程式の結果が同じスカラーであるため、両方ともゼロではないことを意味します。

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— コンスタンティンシューベルト

0

分散共分散行列は常に対称です。これは、実際の方程式から証明されて、前記行列の各項を計算できるためです。

また、分散共分散行列は常にサイズnの正方行列です。nは実験の変数の数です。

対称行列の固有ベクトルは常に直交しています。

PCAを使用して、行列の固有値を決定し、実験で使用される変数の数を減らすことができるかどうかを確認します。

— GEN
ソース

1

Welcome Gen.ユーザー名、identicon、およびユーザーページへのリンクがすべての投稿に自動的に追加されるため、投稿に署名する必要はありません。

— アントワーヌヴェルネ

3

この答えは、正の明確性の問題に対処することで改善できます

— -Silverfish

これは質問に実際に答えているわけではありません。それは、サポートされていないアサーションのコレクションであり、関連する場合と関連しない場合があります。質問への回答方法を示し、推論を説明する方法でフレームを再構築してください。

— whuber

0

Zenの素敵な引数に、場合に共分散行列が正定値であるとよく言う理由を説明する以下を追加します。 $n-1\geq k$

もしその後、連続確率分布のランダムなサンプルです（確率論の意味での）はほぼ確実に直線的に独立しています。であるため、は線形独立ではありませんが、は線形独立であるため、はspan。場合、それらはまた及ぶ。 $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\sum_{i=1}^n z_i = 0$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

結論として、が連続確率分布とランダムサンプルである場合、共分散行列は正定値です。 $x_1,x_2,...,x_n$ $n-1\geq k$

— ジョミナス
ソース

0

私のような非数学的な背景を持ち、抽象的な数学式をすぐに理解できない人にとっては、これは最も支持された答えに秀でた例です。共分散行列は、他の方法でも導出できます。

— パリクシット・ビンデ
ソース

このスプレッドシートが共分散行列の正定性をどのように示しているか説明できますか？

— whuber

ありません。共分散行列を表記形式で視覚化するのに苦労しました。だから私は自分用にこのシートを作成し、誰かに役立つと思った。

— パリクシットビンデ

その後、質問への回答を含めるように編集してください。

— whuber

完了:)提案してくれてありがとう。

— パリクシットビンデ

問題は、「対称かつ正定値の行列を取得することが保証されているか？」です。（1）共分散行列を識別しないため、これに対処する投稿の要素を認識できません。（2）それは何かの正定性を示さない。

— whuber