15

（独立した）サンプルを並行して収集する実験を実行しています。サンプルの各グループの分散を計算し、それからすべてを組み合わせて、すべてのサンプルの合計分散を見つけます。

用語がわからないので、これの派生を見つけるのに苦労しています。1つのRVのパーティションと考えています。

だから私は、、...、およびからを見つけたいと思う、ここで =。 $Var(X)$ $Var(X_1)$ $Var(X_2)$ $Var(X_n)$ $X$ $[X_1, X_2, \dots, X_n]$

編集：パーティションは同じサイズ/カーディナリティではありませんが、パーティションサイズの合計はサンプルセット全体のサンプル数に等しくなります。

編集2：ここに並列計算のための式がありますが、それはセットではなく、2セットへのパーティションの場合のみをカバーしています。 $n$

variance

— ガラミン
ソース

これは、ここで私の質問と同じです：mathoverflow.net/questions/64120/...

最後の括弧はどういう意味ですか？そして、「総分散」とはどういう意味ですか？結合されたデータセットの分散以外のものですか？

— whuber

@whuber最後の括弧は？「総分散」とは、総データセットの分散を意味します。

— ガラミン

という表現

[X_{1}, X_{2}, \dots, X_{n}]

$[X_1, X_2, \dots, X_n]$ は、多くのことを意味する可能性があります（従来はベクトルですが）。説明を探していました。

— whuber

22

すべてのサブサンプルのサンプルサイズが同じである場合、式は非常に簡単です。サイズサブサンプルが（合計サンプル）、結合サンプルの分散は、各サブサンプルの平均および分散に依存します：ここでは、サンプル平均の分散を意味します。 $g$ $k$ $gk$ $E_j$ $V_j$

V a r (X_{1}, \dots, X_{g k}) = \frac{k - 1}{g k - 1} (\sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r (E_{j})),

$Var(X_1,\ldots,X_{gk}) = \frac{k-1}{gk-1}(\sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} Var(E_j)),$

V a r (E_{j})

$Var(E_j)$

Rでのデモ：

> x <- rnorm(100)
> g <- gl(10,10)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 9/99*(sum(vs) + 10*var(mns))
[1] 1.033749
> var(x)
[1] 1.033749

サンプルサイズが等しくない場合、式はあまり良くありません。

編集：等しくないサンプルサイズの式

サブサンプルが、それぞれが要素で合計値の場合、 $g$ $k_j, j=1,\ldots,g$ $n=\sum{k_j}$ は、すべての平均の加重平均です（すべての値の平均に等しい）。

V a r (X_{1}, \dots, X_{n}) = \frac{1}{n - 1} (\sum_{j = 1}^{g} (k_{j} - 1) V_{j} + \sum_{j = 1}^{g} k_{j} ({\bar{X}}_{j} - \bar{X})^{2}),

$Var(X_1,\ldots,X_{n}) = \frac{1}{n-1}\left(\sum_{j=1}^g (k_j-1) V_j + \sum_{j=1}^g k_j (\bar{X}_j - \bar{X})^2\right),$

\bar{X} = (\sum_{j = 1}^{g} k_{j} {\bar{X}}_{j}) / n

$\bar{X} = (\sum_{j=1}^gk_j\bar{X}_j)/n$

繰り返しますが、デモ：

> k <- rpois(10, lambda=10)
> n <- sum(k)
> g <- factor(rep(1:10, k))
> x <- rnorm(n)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 1/(n-1)*(sum((k-1)*vs) + sum(k*(mns-weighted.mean(mns,k))^2))
[1] 1.108966
> var(x)
[1] 1.108966

ところで、これらの式は、スケーリングされた和として所望の分散を書き込むことによって導出することが容易である、次いで導入：、差分式の平方を用いて、そして単純化。 $(X_{ji}-\bar{X})^2$ $\bar{X}_j$ $[(X_{ji}-\bar{X}_j)-(\bar{X}_j-\bar{X})]^2$

— アニコ
ソース

ありがとう。残念ながら、パーティションがすべて同じサイズであることを保証することはできません。私は各パーティションの分散を並列で計算し、最終的に結合する必要がある超並列プロセスを実行していますが、各並列プロセスの結果/サンプルは等しくありません（受信光子のモンテカルロシミュレーションです）。

— ガラミン

3

データウェアハウス環境での並列計算にこれほど十分な、非常に役立つ公式を+1することはできません

— ノアYetter

1

これは、anikoの答えの単なるアドオンであり、派生の大まかなスケッチといくつかのpythonコードがあるため、すべてのクレジットはanikoに渡されます。

導出

$X_j \in X = \{X_1, X_2, \ldots, X_g\}$ $g$ $k_j = |X_j|$

\begin{aligned} E_{j} & = E [X_{j}] = \frac{1}{k_{j}} \sum_{i = 1}^{k_{j}} X_{j i} \\ V_{j} & = V a r [X_{j}] = \frac{1}{k_{j} - 1} \sum_{i = 1}^{k_{j}} (X_{j i} - E_{j})^{2} \end{aligned}

$\begin{align*} E_j & = \mathrm{E}\left[X_j\right] = \frac{1}{k_j} \sum_{i=1}^{k_j} X_{ji}\\ V_j & = \mathrm{Var}\left[X_j\right] = \frac{1}{k_j-1} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 \end{align*}$

n = \sum_{j = 1}^{g} k_{j}

$n = \sum_{j=1}^g k_j$

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E [X])^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} ((X_{j i} - E_{j}) - (E [X] - E_{j}))^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E_{j})^{2} - 2 (X_{j i} - E_{j}) (E [X] - E_{j}) + (E [X] - E_{j})^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} (k_{j} - 1) V_{j} + k_{j} (E [X] - E_{j})^{2} . \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - \mathrm{E}\left[X\right])^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} \big((X_{ji} - E_j) - (\mathrm{E}\left[X\right] - E_j)\big)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 - 2(X_{ji} - E_j)(\mathrm{E}\left[X\right] - E_j) + (\mathrm{E}\left[X\right] - E_j)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} (k_j - 1) V_j + k_j (\mathrm{E}\left[X\right] - E_j)^2. \end{align*}$

k

$k$

\forall j : k_{j} = k

$\forall j: k_j = k$

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} (k - 1) V_{j} + k (g - 1) V a r [E_{j}] \\ = \frac{k - 1}{n - 1} \sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r [E_{j}] \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^g (k-1) V_j + k(g-1) \mathrm{Var}\left[E_j\right] \\ & = \frac{k-1}{n-1} \sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} \mathrm{Var}\left[E_j\right] \end{align*}$

Pythonコード

次のpython関数は、最初の次元に沿って分割された配列に対して機能し、異なるサイズのパーツに対して「より複雑な」式を実装します。

import numpy as np

def combine(averages, variances, counts, size=None):
    """
    Combine averages and variances to one single average and variance.

    # Arguments
        averages: List of averages for each part.
        variances: List of variances for each part.
        counts: List of number of elements in each part.
        size: Total number of elements in all of the parts.
    # Returns
        average: Average over all parts.
        variance: Variance over all parts.
    """
    average = np.average(averages, weights=counts)

    # necessary for correct variance in case of multidimensional arrays
    if size is not None:
        counts = counts * size // np.sum(counts, dtype='int')

    squares = (counts - 1) * variances + counts * (averages - average)**2
    return average, np.sum(squares) / (size - 1)

次のように使用できます。

# sizes k_j and n
ks = np.random.poisson(10, 10)
n = np.sum(ks)

# create data
x = np.random.randn(n, 20)
parts = np.split(x, np.cumsum(ks[:-1]))

# compute statistics on parts
ms = [np.mean(p) for p in parts]
vs = [np.var(p, ddof=1) for p in parts]

# combine and compare
combined = combine(ms, vs, ks, x.size)
numpied = np.mean(x), np.var(x, ddof=1)
distance = np.abs(np.array(combined) - np.array(numpied))
print('combined --- mean:{: .9f} - var:{: .9f}'.format(*combined))
print('numpied  --- mean:{: .9f} - var:{: .9f}'.format(*numpied))
print('distance --- mean:{: .5e} - var:{: .5e}'.format(*distance))

— チョルダー氏
ソース

変数のパーティションの分散を計算する方法

導出

Pythonコード