直感的に理解する

私はこのフォーラムでこの質問と素晴らしい受け入れられた答えを見ました。次に、が共分散を正規化する理由を直感的に理解しようとするきっかけがありました。 $S_xS_y$

\frac{COV (X, Y)}{S_{x} S_{y}} \in [- 1, 1]

$\frac{\operatorname{COV}(X,Y)}{S_xS_y} \in [-1,1]$

を $S_xS_x$ 正規化する理由を理解できれば役立つと思います。もちろん、私は定義上それらが等しいことを理解しています。しかし、私の質問は基本的にこれです：受け入れられた回答の用語を使用して、なぜプロットの赤の合計は正確に（より正確には、私が理解している限り、合計を言うことです）によって分割された四角形の必要があります）。つまり、観測値のサンプルを取得する場合、長方形よりも、定義を使用しながら、値のみの平均を見つける必要があります。 $\operatorname{COV}(X,X)$ $1$ $S_xS_x = \operatorname{VAR}(X)$ $n^2$ $\operatorname{VAR}(X)$ $10$ $45$ $10$

— d_e
ソース

この投稿では、代数と計算の多くを回避する強力な推論方法を紹介します。この方法に精通している人にとって、作業は非常に自動で自然なため、このような質問に対する最初の回答は「明白」です。しかし、メソッドを確認するまで、それはそれほど明白ではありません。したがって、すべての詳細が段階的に説明されています。

バックグラウンド

データの分散（平均を含む）には、次のようないくつかの公式があります。 $\mathbf{x}=x_1, x_2, \ldots, x_n$ $\bar x = (x_1+\cdots + x_n)/n$

\begin{matrix} (1) & Var (x) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} = \frac{1}{n} (\sum_{i = 1}^{n} x_{i}^{2}) - {\bar{x}}^{2} . \end{matrix}

$\operatorname{Var}(\mathbf{x}) = \frac{1}{n}\sum_{i=1}^n (x_i - \bar x)^2 = \frac{1}{n}\left(\sum_{i=1}^n x_i^2\right) - \bar x^2.\tag{1}$

これは、対になったデータの共分散を判断するを介しを $(x_1,y_1), \ldots, (x_n, y_n)$

Cov (x, y) = \frac{1}{4} (Var (x + y) - Var (x - y)) .

$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{4}\left(\operatorname{Var}(\mathbf{x}+\mathbf{y}) - \operatorname{Var}(\mathbf{x}-\mathbf{y})\right).$

参照された共分散とクレヨンの投稿で暗示されている式は、

\begin{matrix} (2) & C (x, y) = \sum_{i = 1}^{n - 1} \sum_{j = i + 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) = \frac{1}{2} \sum_{i, j = 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) . \end{matrix}

$C(\mathbf{x}, \mathbf{y}) = \sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i) = \frac{1}{2}\sum_{i,j=1}^n (x_j - x_i)(y_j - y_i).\tag{2}$

その投稿は、が共分散に比例していると主張しています。比例定数はとともに変化する可能性があります（実際に変化します）。したがって、、このアサーションの1つの意味は、 $C$ $c(n)$ $n$ $\mathbf{x}=\mathbf{y}$

C (x, x) = c (n) Var (x) .

$C(\mathbf{x}, \mathbf{x}) = c(n) \operatorname{Var}(\mathbf{x}).$

分析

これはブルートフォース代数で実証できますが、より良い方法があります。共分散の基本的な特性を活用しましょう。 それらはどのプロパティですか？以下が基本的なことをお勧めします。

場所に依存しない。 つまり、は任意の数。（式は、データセットます。）
$Cov (x, y) = Cov (x - a, y)$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}-\mathbf{a}, \mathbf{y})$ $a$ $\mathbf{x}-\mathbf{a}$ $x_1-a, x_2-a, \ldots, x_n-a$
多重線形性。これは、任意の数のを意味します。（式は、データセットます。）
$Cov (λ x, y) = λ Cov (x, y)$ $\operatorname{Cov}(\lambda\,\mathbf{x}, \mathbf{y}) = \lambda\,\operatorname{Cov}(\mathbf{x}, \mathbf{y})$ $\lambda$ $\lambda\mathbf{x}$ $\lambda x_1, \lambda x_2, \ldots, \lambda x_n$
対称。共分散との共分散であると： $\mathbf{x}$ $\mathbf{y}$ $\mathbf{y}$ $\mathbf{x}$
$Cov (x, y) = Cov (y, x) .$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) =\operatorname{Cov}(\mathbf{y}, \mathbf{x}).$
順列での不変性。を再インデックス付けしても、共分散は変化しません。形式的には、は任意の順列。（ような式は、に従って並べことを表すため、） $(x_i, y_i)$
$Cov (x, y) = Cov (x^{σ}, y^{σ})$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}^\sigma, \mathbf{y}^\sigma)$ $\sigma\in\mathfrak{S}_n$ $\mathbf{x}^\sigma$ $x_i$ $\sigma$ $\mathbf{x}^\sigma = x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}.$

これらすべてのプロパティは、式およびの形式を検査することから、と両方に明らかにます。説明が必要になる可能性があるのは、場所に依存しないことだけです。ただし、の値が一定にシフトしても、残差も差も変更されません。 $\operatorname{Var}$ $C$ $(1)$ $(2)$ $x_i$

x_{i} - \bar{x} = (x_{i} - a) - \bar{x - a}

$x_i - \bar{x} = (x_i - a) - \overline{x - a}$

そして

x_{j} - x_{i} = (x_{j} - a) - (x_{i} - a) .

$x_j - x_i = (x_j - a) - (x_i - a).$

したがって、との最初のバージョンが場所に依存しないことは確かに明白です。 $(1)$ $(2)$

解決

ここで、それが推論です。ので、対称及び多重線形であり、それは二次形式完全係数によって決定。 $C$ $c_{ij} = c_{ji}$

C (x, y) = \sum_{i, j = 1}^{n} c_{i j} x_{i} y_{j} .

$C(\mathbf{x}, \mathbf{y}) = \sum_{i, j=1}^n c_{ij}\, x_i y_j.$

それは順列不変なので、任意のインデックスに対してと ; また、すべてのインデックスおよびに対してです。したがって、ちょうど2つの数によって決定される、と言うと。最後に、これらの数値の1つは、場所の不変性によって他の2つを決定します。この条件は、 $c_{ij} = c_{i^\prime j^\prime}$ $i,j,i^\prime,j^\prime$ $i\ne j$ $i^\prime \ne j^\prime$ $c_{ii} = c_{i^\prime i^\prime}$ $i$ $i^\prime$ $C$ $c_{11}$ $c_{12}$

0 = C (0, 0) \overset{location-invariance}{=} C (1, 0) \overset{symmetry}{=} C (0, 1) \overset{location-invariance}{=} C (1, 1)

$0 = C(\mathbf{0},\mathbf{0}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{0}) \overset{\text{symmetry}}{=} C(\mathbf{0},\mathbf{1}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{1})$

（ " "および " "は、これらの値を持つ定数ベクトルを指します）。だが $\mathbf{0}$ $\mathbf{1}$ $n$

0 = C (1, 1) = \sum_{i, j}^{n} c_{i j} = n c_{11} + (n^{2} - n) c_{12},

$0=C(\mathbf{1},\mathbf{1}) = \sum_{i,j}^n c_{ij} = nc_{11} + (n^2-n)c_{12},$ それぞれを決定他の観点からとの。

c_{11}

$c_{11}$

c_{12}

$c_{12}$

これはすでに要点を証明しています はに比例している必要がありますは、それぞれが係数のいずれか1つによって決定されるためです。比例定数を見つけるには、2つの式とを調べて、すべての出現を探します。それらから関連する値を読み取ることができます。の2番目のバージョンから、係数は明らかにです。最初のバージョンからと、、の係数明らかである $C$ $\operatorname{Cov}$ $(1)$ $(2)$ $x_1^2$ $c_{11}$ $(1)$ $x_1^2$ $1/n - (1/n)^2$ $(2)$ $\mathbf{y} = \mathbf{x}$ $x_1^2$ $n-1$ 。（幾何学的に、の散布図の各点は他のと対になり、その座標の2乗が回表示されます。したがって、 $(\mathbf{x},\mathbf{x})$ $n-1$ $n-1$

c (n) = \frac{n - 1}{1 / n - (1 / n)^{2}} = n^{2},

$c(n) = \frac{n-1}{1/n - (1/n)^2} = n^2,$

QED。これはデモンストレーションに必要な唯一の計算でした

Cov (x, y) = \frac{1}{n^{2}} C (x, y) = \frac{1}{n^{2}} \sum_{i = 1}^{n - 1} \sum_{j = i + 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) .

$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}C(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}\sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i).$

— whuber
ソース