共分散推定量の分母がn-1ではなくn-2にならないのはなぜですか？

36

（不偏）分散推定量の分母はであり、観測値があり、推定されるパラメーターは1つだけです。 $n-1$ $n$

V (X) = \frac{\sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}}{n - 1}

$\mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

同様に、2つのパラメーターを推定するときに共分散の分母をにしないのはなぜでしょうか？ $n-2$

C o v (X, Y) = \frac{\sum_{i = 1}^{n} (X_{i} - \bar{X}) (Y_{i} - \bar{Y})}{n - 1}

$\mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}$

— MYaseen208
ソース

15

その場合、分散の2つの矛盾する定義があります。1つは最初の式で、もう1つは適用される2つ目の式です。

Y = X

$Y=X$

— whuber

3

二変量平均（期待値）は1つのパラメーターであり、2つのパラメーターではありません。

— ttnphns

14

@ttnphnsそれは事実ではありません。2変量平均はそれを表現するために2つの実数を必要とするため、明らかに 2つのパラメーターです。（実際には、単一であるベクトルパラメータが、そう言ってのみ、2つの成分を有することを偽装。）このショーアップ明示的にプールされ、分散t検定の自由度で、例えば、のために

2

$2$ 減算し、しない

1

$1$ 。何この質問について興味深いことは、それは誤解を招くだけでどのように漠然とした、unrigorous、および潜在的に明らかにどのようなことは、我々が引くという共通の「解説」である

1

$1$ から

n

$n$ 1つのパラメータが推定されているので。

— whuber

@whuber、あなたはその通りです。重要なのが

n

$n$ （独立した観測値）だけであれば、単変量テストよりも多変量テストでdfを多く使うことはありません。

— ttnphns

3

@whuber：「パラメータ」として数えるものが状況に依存していることを示しているとおそらく言うでしょう。この場合、分散計算されるオーバー $n$ 観測及び各観察そう-又は総平均が- ttnphnsが言ったように、それは多変量平均であっても、一つのパラメータと見なすことができます。ただし、テストで次元の線形結合を考慮する他の場合、各観測の各次元は「パラメータ」になります。これはトリッキーな問題です。

— アメーバは、モニカーを復活させる

31

共分散は分散です。

偏光アイデンティティによって

Cov (X, Y) = Var (\frac{X + Y}{2}) - Var (\frac{X - Y}{2}),

$\newcommand{\c}{\text{Cov}}\newcommand{\v}{\text{Var}} \c(X,Y) = \v\left(\frac{X+Y}{2}\right) - \v\left(\frac{X-Y}{2}\right),$

分母は同じでなければなりません。

— ウーバー
ソース

20

特別なケースはあなたに直観を与えるべきです。以下について考えてください。

\hat{C o v} (X, X) = \hat{V} (X)

$\hat{\mathbb{Cov}}\left(X, X\right)= \hat{\mathbb{V}}\left(X\right)$

後者がことに満足していますベッセル補正。 $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

しかし、前者のでをに置き換えると、で、空白を埋めるのに最適なものは何だと思いますか？ $Y$ $X$ $\hat{\mathbb{Cov}}\left(X, Y\right)$ $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

— 銀魚
ソース

1

OK。しかし、OPは「cov（X、X）とcov（X、Y）を1行のロジックに入れる理由を尋ねるかもしれません。なぜcov（）でYをXに置き換えますか？cov（X、Y）別の状況ですか？」私の印象では、（非常に賛成の）答えがなければならないのに、あなたはそれを避けませんでした:

— ttnphns

7

迅速で汚い答え...最初の考えてみましょう。あなたが持っていた場合観測知ら期待値とあなたが使用する分散を推定します。 $\text{var}(X)$ $n$ $E(X) = 0$ ${1\over n}\sum_{i=1}^n X_i^2$

期待値が不明である場合、を取ることにより、観測値を既知の期待値を持つ観測値に変換できます。分母が式が得られますが、は独立していないため、これを考慮する必要があります。最後に、通常の式が見つかります。 $n$ $n-1$ $A_i = X_i - X_1$ $i = 2, \dots,n$ $n-1$ $A_i$

共分散については、同じ考え方を使用できます。の期待値がだった場合、式にがあります。を他のすべての観測値から引くと、既知の期待値での観測値が得られ、式のが得られます。アカウント。 $(X,Y)$ $(0,0)$ ${1\over n}$ $(X_1,Y_1)$ $n-1$ ${1\over n-1}$

PSそれを行うためのクリーンな方法は、正規直交基底、つまりベクトルなど $\big\langle (1, \dots, 1)' \big\rangle^{\perp}$ $n-1$ $c_1, \dots, c_{n-1} \in \mathbb R^n$

$\sum_j c_{ij}^2 = 1$ すべてのに対して、 $i$
$\sum_j c_{ij} = 0$ すべてのに対して、 $i$
$\sum_j c_{i_1j} c_{i_2j} = 0$ すべての。 $i_1 \ne i_2$

次に、個の変数およびます。独立しており、値が期待していると、元の変数と同じ分散/共分散を有します。 $n-1$ $A_i = \sum_j c_{ij} X_j$ $B_i = \sum_j c_{ij} Y_j$ $(A_i,B_i)$ $(0,0)$

すべてのポイントは、未知の期待を取り除きたい場合、1つの（そして1つだけの）観測を落とすことです。これは両方のケースで同じように機能します。

— エルビス
ソース

6

以下は、分母をもつp変量標本共分散推定量が共分散行列の不偏推定量であることの証明です。 $\frac{1}{n-1}$

$x' = (x_1,...,x_p)$ 。

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

表示するには： $E(S) = \frac{n-1}{n}\Sigma$

証明： $S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

次：

（1） $E(x_ix_i') = \Sigma + \mu\mu'$

（2） $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

したがって、 $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

したがって、最後の分母持つは不偏です。非対角要素は、個々のサンプル共分散です。 $S_u = \frac{n}{n-1}S$ $\frac{1}{n-1}$ $S_u$

追加のコメント：

n個のドローは独立しています。これは、サンプル平均の共分散を計算するために（2）で使用されます。
ステップ（1）および（2）は、という事実を使用します $Cov(x)= E[xx']-\mu\mu'$
ステップ（2）は、という事実を使用し $Cov(\bar{x})= \frac{1}{n}\Sigma$

— statchrist
ソース

ステップ2の難しさ！:)

— エルビス

@エルビスそれは厄介です。ルールCov（X + Y、Z）= Cov（X、Z）+ Cov（Y、Z）を適用し、異なる描画が独立していることを認識する必要があります。そして、それは基本的に共分散n回を合計し、1 /n²ことによってそれを縮小だ

— statchrist

4

「n-2」ではなく「n-1」を使用して直感を構築する方法の1つは、共分散を計算するために、XとYの両方を無効にする必要はないが、2つのうちのどちらか、

$\ sum（X- \ mu_x）（Y-\ mu_y）= \ sum（X- \ mu_x）Y \ \ \または\ \ \ \ sum（Y- \ mu_y）X$

— Uditg_ucla
ソース

これがどの分母を使用するかという問題にどのように関係しているかについて詳しく説明していただけますか？証拠の代数関係は、平均和が0の場合の残差がゼロであるという事実に由来しますが、それ以外の場合、どの分母が関連するかについては言及していません。

— whuber

5

OPと同じ質問があったので、ここに来ました。この答えは、上記の@whuberが指摘したポイントの核心に到達すると思います：経験則ではdf〜= n-（推定されるパラメーター）は「曖昧で、不正確で、潜在的に誤解を招く」可能性があるということですこれは、2つのパラメーター（xbarとybar）を推定する必要があるように見えますが、実際には1つ（xbarまたはybar）のみを推定するという事実を指摘しています。dfは両方のケースで同じである必要があるため、2つのうち小さい方にする必要があります。それがここでの意図だと思います。

— mpettis

1

1）開始します。 $df=2n$

2）サンプル共分散は。2失います。1、から1をもたらす。 $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $df$ $\bar{X}$ $\bar{Y}$ $df=2(n-1)$

3）ただし、は、各製品から1つずつ、個別の用語のみが含まれます。2つの数値を乗算すると、個別の数値から独立した情報が消えます。 $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $n$

ささいな例として、

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$ 、

また、ように無理数と分数を含まないため、2つの数値シリーズを乗算して積を調べると、元の情報の半分、つまり、1つの数値へのペアワイズグループ化（乗算）が実行される前にそれらの2つの数値が失われていたため、1つの数値シリーズから。 $24=2\sqrt{6}*2\sqrt{6}$ $df=n-1$

言い換えれば、一般性を失うことなく、次のように書くことができます。

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ 一部のおよび、 $z_i$ $\bar{z}$

すなわち、、および、。明らかに持つから、共分散の式は次のようになります。 $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$ $\bar{z}=\bar{X}\bar{Y}$ $z$ $df=n-1$

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ 。

したがって、質問に対する答えは、がグループ化によって半分になるということです。 $df$

— カール
ソース

@whuber一体どうして、同じものを2回投稿し、1回削除したのですか？何が得られますか？それらの1つを取り除くことができますか？将来の参照のために、そのような重複を完全に削除する方法はありますか？私はいくつかぶらぶらしていますが、それは迷惑です。

— カール

私の知る限り、あなたはあなたの答えを重複からここに再投稿しました。（他の誰もあなたの名前で回答を投稿する権限はありません。）システムは、複数のスレッドで同一の回答を投稿することを強く推奨しません。これは、ソーススレッドからターゲットスレッドにすべてのコメントと回答を移動する手順です。次に、ターゲットスレッドで重複した投稿を削除しました。完全に削除されたままになりますが、あなただけでなく十分に評判の高い人々にも表示されます。

— whuber

@whuber絶えず調べているにもかかわらず、マージで何が起こるのか、マージが行われているのか、多くのルールが何なのかを知りませんでした。学習するのに時間がかかります。辛抱強く、ところで、stats.stackexchange.com / questions / 251700 / ...をオフにすることを検討してくださいHold。

— カール