センタリングは共分散を減らすことを意味しますか？

11

独立していない確率変数が2つあり、過度の「信号」を失うことなく、それらの間の共分散をできるだけ減らしたいと仮定すると、センタリングは役に立ちますか？センタリングによって相関が大幅な要因で減少するということをどこかで読んだので、共分散についても同じようにする必要があると思います。

correlation covariance random-vector

— lvdp
ソース

30

場合 $X$ 及び $Y$ 、ランダムな変数としていると、次いで、定数である $a$ $b$

\begin{aligned} Cov (X + a, Y + b) & = E [(X + a - E [X + a]) (Y + b - E [Y + b])] \\ = E [(X + a - E [X] - E [a]) (Y + b - E [Y] - E [b])] \\ = E [(X + a - E [X] - a) (Y + b - E [Y] - b)] \\ = E [(X - E [X]) (Y - E [Y])] \\ = Cov (X, Y) . \end{aligned}

$\begin{aligned} \operatorname{Cov}(X + a, Y + b) &= E[(X + a - E[X + a])(Y + b - E[Y + b])] \\ &= E[(X + a - E[X] - E[a])(Y + b - E[Y] - E[b])] \\ &= E[(X + a - E[X] - a)(Y + b - E[Y] - b)] \\ &= E[(X - E[X])(Y - E[Y])] \\ &= \operatorname{Cov}(X, Y). \end{aligned}$ センタリングは特別な場合

a = - E [X]

$a = -E[X]$ および

b = - E [Y]

$b = -E[Y]$ であるため、センタリングは共分散に影響しません。

また、相関はとして定義されているため

Corr (X, Y) = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}},

$\operatorname{Corr}(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}},$

\begin{aligned} Corr (X + a, Y + b) & = \frac{Cov (X + a, Y + b)}{\sqrt{Var (X + a) Var (Y + b)}} \\ = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}}, \end{aligned}

$\begin{aligned} \operatorname{Corr}(X + a, Y + b) &= \frac{\operatorname{Cov}(X + a, Y + b)}{\sqrt{\operatorname{Var}(X + a) \operatorname{Var}(Y + b)}} \\ &= \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}}, \end{aligned}$

それは物語の人口バージョンでした。サンプルバージョンは同じです：を使用する場合

\hat{Cov} (X, Y) = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j})

$\widehat{\operatorname{Cov}}(X, Y) = \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right)$

X

$X$

Y

$Y$

(X_{1}, Y_{1}), \dots, (X_{n}, Y_{n})

$(X_1,Y_1), \ldots, (X_n,Y_n)$

\begin{aligned} \hat{Cov} (X + a, Y + b) & = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} (X_{j} + a)) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} (Y_{j} + b)) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} X_{j} - \frac{n}{n} a) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} Y_{j} - \frac{n}{n} b) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j}) \\ = \hat{Cov} (X, Y) \end{aligned}

$\begin{aligned} \widehat{\operatorname{Cov}}(X + a, Y + b) &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n (X_j + a)\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n (Y_j + b)\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n X_j - \frac{n}{n} a\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n Y_j - \frac{n}{n} b\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right) \\ &= \widehat{\operatorname{Cov}}(X, Y) \end{aligned}$

a

$a$

b

$b$

— アルテム・マヴリン
ソース

詳細な回答に感謝します。サンプルの共分散の場合、サンプルサイズにも影響がないということですか？つまり、サンプルサイズを減らしてもサンプルの共分散は減少しませんか？

— lvdp

3

@lvdpそれはおそらく別の質問になるはずです。

— Acccumulation

縮小されたサンプルサイズは、別のサンプルにのみ付属しています。したがって、異なるサンプルは異なる共分散を示す可能性があります。ただし、サンプルの共分散は平均として定義されるため、サンプルサイズは原則としてスケーリングされます。

— Nick Cox

5

$X$ $Y$ $E[(X-E[X])(Y-E[Y])]$ $X-E[X]$ $X$ $X$ 共分散をとると、センタリングはべき等演算子です。変数が中央に配置された後、中央揃えプロセスをさらに適用しても、変数は変更されません。数式が変数の中央バージョンをとらない場合、温度と別の変数の間の共分散が摂氏とケルビンのどちらで温度を測定するかによって異なるなど、あらゆる種類の奇妙な影響があります。

— 蓄積
ソース

3

「どこか」はかなり信頼できないソースになる傾向があります...

共分散/相関は、明示的なセンタリングで定義されます。データを中央に配置しない場合は、共分散/相関を計算していません。（正確には、ピアソン相関）

主な違いは、理論モデルに基づいて（たとえば、期待値は正確に0であると想定される）中心にするか、データ（算術平均）に基づく中心にするかです。算術平均では、他のどの中心よりも小さい共分散が得られることが簡単にわかります。

ただし、共分散が小さいことは、相関が小さいことを意味しません。データX =（1,2）およびY =（2,1）があるとします。算術平均のセンタリングを使用すると、完全に負の相関が得られることが容易にわかります。一方、生成プロセスが平均0を生成することがわかっている場合、データは実際には正の相関です。したがって、この例では、中央揃えですが、理論上の期待値は0です。

これは簡単に発生する可能性があります。セルの番号が-5から+5のセンサーアレイ11x11があるとします。算術平均をとるのではなく、ここでセンサーイベントの相関を探すときにセンサーアレイの「物理」平均を使用することは理にかなっています（セル0〜10を列挙した場合、固定平均として5を使用します）まったく同じ結果が得られるので、インデックス作成の選択は分析から消えます-素晴らしいです）。

— QUITあり-匿名ムース
ソース

@ Anony-Mousseに感謝します。サンプルの共分散はサンプルのサイズに依存しますか？つまり、サンプルサイズが小さいほど、共分散は小さくなります（センタリング前）。

— lvdp

1

明らかにサンプルに依存します。平均して-わかりません。小さなサンプルほどばらつきが大きくなるので、極端な値になることが多いと思います。しかし、それは単なる直感です。

— QUITあり--Anony-Mousse