加重分散、もう一度

偏りのない重み付き分散は、すでにここや他の場所で対処されましたが、依然として驚くべき量の混乱があるようです。最初のリンクとWikipediaの記事で提示された公式に対する合意があるようです。これは、R、Mathematica、およびGSLで使用される式（MATLABではない）のようにも見えます。ただし、Wikipediaの記事には、重み付き分散の実装に対する優れた健全性チェックのように見える次の行も含まれています。

たとえば、値{2,2,4,5,5,5}が同じ分布から引き出される場合、このセットを重み付けされていないサンプルとして扱うか、重み付けされたサンプルとして扱うことができます{2,4、 5}に対応する重み{2,1,3}があり、同じ結果が得られます。

私の計算では、元の値の分散に対して2.1667の値が、重み付き分散に対して2.9545の値が得られます。それらが同じであることを本当に期待すべきですか？なぜですか？

はい、両方の例（重みなしと重み付き）で同じ結果が得られることを期待してください。

ウィキペディアの記事の2つのアルゴリズムを実装しました。

これは動作します：

すべての$x_i$が同じ分布から引き出され、整数の重み$w_i$がサンプル内の出現頻度を示す場合、重み付き母集団分散の不偏推定量は次の式で与えられます。

$s^2\ = \frac {1} {V_1 - 1} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2,$

しかし、これは（分数の重みを使用して）私には機能しません：

$x_i$$1/w_i$

$s^2\ = \frac {V_1} {V_1^2-V_2} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2$

2番目の式が意図したとおりに機能しない理由については、現在調査中です。

/ EDIT：2番目の式が思ったように機能しない理由を見つけました。2番目の式は、正規化された重みまたは分散（「信頼性」）重みがある場合にのみ使用できます。 「繰り返し」重み（観測が観測されたため、数学演算で繰り返される必要がある回数をカウントする）を使用すると、観測の総数をカウントする機能が失われるため、補正係数を使用できません。

したがって、これは、加重分散と非加重分散を使用した結果の違いを説明しています。つまり、計算は偏っています。

したがって、偏りのない重み付き分散が必要な場合は、「繰り返し」の重みのみを使用し、上記の最初の式を使用します。それが不可能な場合、まあ、あなたはそれを助けることはできません。

さらに情報が必要な場合は、Wikipediaの記事も更新しました：http : //en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

そして、偏りのない重み付き共分散についてのリンクされた記事（これは、実際には偏光同一性による同じ分散です）： 重み付きの偏りのないサンプル共分散の正しい方程式