加重不偏標本共分散の正しい方程式

私は、加重不偏サンプル共分散を計算するための正しい方程式を探しています。このテーマではインターネットソースは非常にまれであり、それらはすべて異なる方程式を使用します。

私が見つけた最もありそうな方程式はこれです：

$q_{jk}=\frac{\sum_{i=1}^{N}w_i}{\left(\sum_{i=1}^{N}w_i\right)^2-\sum_{i=1}^{N}w_i^2} \sum_{i=1}^N w_i \left( x_{ij}-\bar{x}_j \right) \left( x_{ik}-\bar{x}_k \right) .$

送信元：https : //en.wikipedia.org/wiki/Sample_mean_and_sample_covariance#Weighted_samples

もちろん、重み付けされた（バイアスされていない）サンプル平均を事前に計算する必要があります。

しかし、私は他のいくつかの式を見つけました：

$q_{jk}= \frac{1}{\sum_{i=1}^N w_i)-1}\sum_{i=1}^N w_i \left( x_{ij}-\bar{x}_j \right) \left( x_{ik}-\bar{x}_k \right) .$

または、標準の共分散式を使用しているが、サンプル平均の代わりに加重サンプル平均を使用しているソースコードや学術論文を見たこともあります...

誰かが私を助けて光を当てることができますか？

/ EDIT：私の重みは、データセット内のサンプルの観測値の数です。したがって、weights.sum（）= n

1972年代の本（George R. Price、Ann。Hum。Genet。、Lond、pp485-490、Extension of covariance selection mathematics、1972）で解決策が見つかりました。

バイアスをかけた加重サンプルの共分散：

$\Sigma=\frac{1}{\sum_{i=1}^{N}w_i}\sum_{i=1}^N w_i \left(x_i - \mu^*\right)^T\left(x_i - \mu^*\right)$

そして、ベッセル補正を適用することによって与えられる不偏加重サンプル共分散：

$\Sigma=\frac{1}{\sum_{i=1}^{N}w_i - 1}\sum_{i=1}^N w_i \left(x_i - \mu^*\right)^T\left(x_i - \mu^*\right)$

ここで、は（偏りのない）加重サンプルの平均です。$\mu^*$

$\mathbf{\mu^*}=\frac{\sum_{i=1}^N w_i \mathbf{x}_i}{\sum_{i=1}^N w_i}$

重要な注意：これは、重みが「繰り返し」タイプの重みである場合にのみ機能します。つまり、各重みは1つの観測の発生数を表し、ここで実際のサンプルサイズ（重みを考慮した実際のサンプルの総数）を表します。N $\sum_{i=1}^N w_i=N^*$$N^*$

ウィキペディアの記事を更新しました。ここには、偏りのない重み付けされた標本分散の方程式もあります。

https://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_covariance

実用的なノート：私は最初の乗算列毎にあなたを助言ととで、その後行列の乗算を行う物事をラップするためにアップし、自動的に合計を実行します。例：Python Pandas / Numpyコード：（x i$w_i$（X I - μ * $\left(x_i - \mu^*\right)$$\left(x_i - \mu^*\right)$

import pandas as pd
import numpy as np
# X is the dataset, as a Pandas' DataFrame
mean = mean = np.ma.average(X, axis=0, weights=weights) # Computing the weighted sample mean (fast, efficient and precise)
mean = pd.Series(mean, index=list(X.keys())) # Convert to a Pandas' Series (it's just aesthetic and more ergonomic, no differenc in computed values)
xm = X-mean # xm = X diff to mean
xm = xm.fillna(0) # fill NaN with 0 (because anyway a variance of 0 is just void, but at least it keeps the other covariance's values computed correctly))
sigma2 = 1./(w.sum()-1) * xm.mul(w, axis=0).T.dot(xm); # Compute the unbiased weighted sample covariance

重み付けされていないデータセットと同等の重み付けされたデータセットを使用して、いくつかの健全性チェックを行いました。正しく動作します。