限られたメモリでのオンラインの分散推定

時間内に発生するイベントに関連するメトリックの平均と分散を計算することを目的とするコンポーネントを作成していますが、内部メモリは限られています。

イベントがショップに入場する訪問者であり、メトリックが年齢であると想像してください。

期間中、私のコンポーネントは各訪問者の年齢のイベントを受け取ります。コンポーネントに各年齢の履歴を記憶させたくありません。理想的には、平均A、分散V、およびイベント数のみを格納するライトコンポーネントが欲しいNです。

ageのある各イベントの後にE、これらの3つの値を更新します。

N<=N+1
A<=(A*N+E)/(N+1)
V<=???

何のためにV？私は次のようなものを考えています：

V<=(V*N+(E-A)^2)/(N+1)

私の以前の人Vは古いAものを使用しているため、正確ではないことを知っています。これは平均ではありません。

Q1-正確な式はありますか？
Q2-そうでない場合、私の提案は適切な見積もりですか？偏っていますか？N増加すると、正しく収束しますか？
Q3-より良い式はありますか？

オンラインで分散を計算するための素晴らしく単純なアルゴリズムは、Welford（1962）によって記述されました。以下に、オフラインで動作するC ++ / Rcppの実装を示しますが、オンラインシナリオに簡単に適応できます。

List welford_cpp(NumericVector x) {

  int n = x.length();
  double delta;
  double msq = 0;
  double mean = x[0];

  if (n > 1) {
    for (int i = 1; i < n; i++) { 
      delta = x[i] - mean;
      mean += delta / (i+1);
      msq += delta * (x[i] - mean);
    }
    return Rcpp::List::create(Rcpp::Named("mean") = mean,
                              Rcpp::Named("variance") = msq / (n-1));
  }

  return Rcpp::List::create(Rcpp::Named("mean") = mean,
                            Rcpp::Named("variance") = NAN);
}

ご覧のとおり、必要なのは、、、、およびの4つの変数を保存するだけnでdelta、平均と分散を同時に計算できます。msqmean

---

ウェルフォード、BP（1962）。二乗と積の修正合計を計算する方法についての注意。テクノメトリクス4（3）：419-420。

分散は、すべての値と平均値との差の2乗に比例するか、または（stats.SEに記載されている多くのスレッドと同じように、この回答が別の質問に書いたように）2乗に比例するように表すこともできますすべてのサンプル間のペアワイズ差。

だから私たちは知っています：

$$\text {Var}(x) = \frac{1}{n} \cdot \sum_{i}(X_i-\overline{X})^2 = \frac{1}{2n^2} \cdot \sum_{i,j}(X_i-X_j)^2$$

最後のインデックスとしてインデックス付けされた別のサンプルを追加するとします。以前の分散は次のようになります。$k$

$$\text {Var}_{old}(x) = \frac{1}{2(n-1)^2} \cdot \sum_{i<k,j<k}(X_i-X_j)^2$$

あなたの新しい分散は

$$\text {Var}_{new}(x) = \frac{1}{2n^2} \cdot \sum_{i,j}(X_i-X_j)^2 = \frac{1}{2n^2} \cdot \left( \sum_{i<k,j<k}(X_i-X_j)^2 + \sum_{j<k}(X_k-X_j)^2 + \sum_{i<k}(X_i-X_k)^2 \right)$$

だが

$$\sum_{j<k}(X_k-X_j)^2 = \sum_{i<k}(X_i-X_k)^2\\ \sum_{i<k,j<k}(X_i-X_j)^2 = {2(n-1)^2} \cdot \text {Var}_{old}(x)$$

そう

$$\text {Var}_{new}(x) = \left(\frac{n-1}{n}\right)^2 \text{Var}_{old}(x)+ \frac{1}{n^2} \sum_{j<k}(X_k-X_j)^2$$

@ MarkL.Stoneがコメントで述べたように、すべての保持する必要があるため、これはまだ効率的ではありません。それでは、式を拡張して、より扱いやすいものに到達しましょう。$X_i$

$$\frac{1}{n^2}\sum_{j<k}(X_k-X_j)^2=\\ \frac{1}{n^2}\sum_{j<k}(X_k^2 - 2 \cdot X_j \cdot X_k + X_j^2)=\\ \frac{1}{n^2}\left(\sum_{j<k}X_k^2 - 2 \cdot X_k \cdot \sum_{j<k} X_j + \sum_{j<k} X_j^2\right)=\\ \frac{1}{n^2}\left(k\cdot X_k^2 - 2 \cdot X_k \cdot (k-1) \cdot \overline{X_{old}} + (k-1) \cdot \overline{X^2_{old}}\right)\\ $$ ため $$\sum_{j<k} X_j = (k-1) \cdot \overline{X_{old}}\\ \sum_{j<k} X_j^2 = (k-1) \cdot \overline{X^2_{old}}$$

最終的な形は

$$\text {Var}_{new}(x) = \left(\frac{n-1}{n}\right)^2 \text{Var}_{old}(x)+ \frac{1}{n^2}\left(k\cdot X_k^2 - 2 \cdot X_k \cdot (k-1) \cdot \overline{X_{old}} + (k-1) \cdot \overline{X^2_{old}}\right)$$

この式を使用すると、メモリごとに分散を効果的に更新できます。また、シングルポイント更新の代わりにバッチを使用するように補完することもできます。

基本的に、平均、2乗されたサンプルの平均、および反復ごとの分散を保存し、それを使用して分散式を更新する必要があります。

---

さらに

$$\overline{X^2_{old}} = \text{Var}_{old}(x) + (\overline{X_{old}})^2\\ \therefore\text {Var}_{new}(x) = \left(\frac{n-1}{n}\right)^2 \text{Var}_{old}(x)+ \frac{1}{n^2}\left(k\cdot X_k^2 - 2 \cdot X_k \cdot (k-1) \cdot \overline{X_{old}} + (k-1) \cdot \left(\text{Var}_{old}(x) + (\overline{X_{old}})^2\right)\right)$$

これにより、保存する必要のある数量が2に減ります。

OKアンディWが答えました。平均をE平均と同じ方法で保存することで、を使用できます。$E^2$$V = exp(E^2)-exp(E)^2$