O（1）更新効率によるロバストな平均推定

特定の特性を持つ平均のロバストな推定を探しています。この統計を計算する要素のセットがあります。次に、新しい要素を1つずつ追加し、要素を追加するたびに統計（オンラインアルゴリズムとも呼ばれます）を再計算します。この更新の計算を高速に、できればO（1）に、つまりリストのサイズに依存しないようにしたいと思います。

通常の平均には、効率的に更新できるという特性がありますが、外れ値に対して堅牢ではありません。四分位間平均やトリム平均のような、平均の典型的なロバストな推定量は、効率的に更新できません（ソートされたリストを維持する必要があるため）。

効率的に計算/更新できる堅牢な統計についての提案があれば幸いです。

このソリューションは、質問へのコメントで@Innuoによって行われた提案を実装します。

これまでに表示されたすべてのデータから、サイズが100または1000の均一にサンプリングされたランダムなサブセットを維持できます。このセットと関連する「フェンス」は時間で更新できます。$O(1)$

このサブセットを維持する方法がわかったら、そのようなサンプルから母集団の平均を推定する方法を選択できます。これは動作します一切の仮定をしない普遍的な方法で、ある任意の標準的な統計サンプリングの式を用いて予測することができ、精度の範囲内に入力ストリーム。（精度は、サンプルサイズの平方根に反比例します。）

このアルゴリズムは、データストリームサンプルサイズを入力として受け入れ、それぞれが母集団を表すサンプルストリームを出力します。。具体的には、場合、はからのサイズ単純なランダムサンプルです（置換なし）。$x(t),$ M S （T ）X （T ）= （X （1 ）、X （2 ）、... 、X （T ））1 ≤ I ≤ T S （I ）m X （t $t=1, 2, \ldots,$$m$$s(t)$$X(t) = (x(1),x(2), \ldots, x(t))$$1\le i \le t$$s(i)$$m$$X(t)$

これを実現するために、そのすべてで十分 -elementサブセットののインデックスであることの等しいチャンス有するで。これは、がに含まれる可能性が、提供される等しいことを意味します。{ 1 、2 、... 、T } のx S （T ）X （I ）、1 ≤ I < T 、S （T ）M / T T ≥ $m$$\{1,2,\ldots,t\}$$x$$s(t)$$x(i),$ $1\le i\lt t,$$s(t)$$m/t$$t \ge m$

最初は、要素が格納されるまでストリームを収集します。その時点で可能なサンプルは1つだけなので、確率条件はごくわずかに満たされます。$m$

アルゴリズムはときに引き継ぎます。誘導仮定する単純なランダムサンプルであるのための。暫定的にます。LET一様確率変数（構築するために使用される任意の前の変数の独立して）。 もし、その後のランダムに選択された要素置き換えるによって。 これが手順全体です。S （T ）X （T ）T > M S （T + 1 ）= S （T ）、U （T + 1 ）S （T ）、U （T + 1 ）≤ M /（T + 1 ）s x （t + 1 ）$t=m+1$$s(t)$$X(t)$$t\gt m$$s(t+1) = s(t)$$U(t+1)$$s(t)$$U(t+1) \le m/(t+1)$$s$$x(t+1)$

明らかに、確率有するにあるの。さらに、帰納法の仮説により、はときにに含まれる確率を持ちました。確率 =場合、から削除され、残りの確率は等しいM /（T + 1 ）、S （T + 1 ）、X （I ）のM / T S （T ）I ≤ T M /（T + 1 ）× 1 / M 1 /（T + 1 ）s （t + 1 $x(t+1)$$m/(t+1)$$s(t+1)$$x(i)$$m/t$$s(t)$$i\le t$$m/(t+1) \times 1/m$$1/(t+1)$$s(t+1)$

必要に応じて。帰納法により、内のすべての包含確率は正しく、これらの包含間に特別な相関関係がないことは明らかです。これは、アルゴリズムが正しいことを証明しています。s （t $x(i)$$s(t)$

アルゴリズムの効率はこれは、各ステージで最大2つの乱数が計算され、最大で値の配列の1つの要素が置き換えられるためです。ストレージ要件はです。m O （m $O(1)$$m$$O(m)$

このアルゴリズムのデータ構造は、サンプルと、それがサンプリングする母集団のインデックスで構成されます。最初に、を取り、のアルゴリズムを続行し これは、を生成するために値でを更新する実装です。（引数がの役割を果たすとなる。、インデックス、発信者によって維持されるであろう。）T X （T ）S = X （M ）T = M + 1 、M + 2 、... 。（s 、t ）x （s 、t + 1 ）t m $s$$t$$X(t)$$s = X(m)$$t=m+1, m+2, \ldots.$R$(s,t)$$x$$(s,t+1)$n$t$sample.size$m$$t$

update <- function(s, x, n, sample.size) {
  if (length(s) < sample.size) {
    s <- c(s, x)
  } else if (runif(1) <= sample.size / n) {
    i <- sample.int(length(s), 1)
    s[i] <- x
  }
  return (s)
}

これを説明およびテストするために、通常の（ロバストでない）平均の推定量を使用し、から推定された平均を実際の平均と比較します各ステップで見られるデータの累積セット）。私はかなりスムーズに変化するが、定期的に劇的なジャンプを経験するやや難しい入力ストリームを選択しました。のサンプルサイズはかなり小さいため、これらのプロットでサンプリングの変動を確認できます。X （t ）m = $s(t)$$X(t)$$m=50$

n <- 10^3
x <- sapply(1:(7*n), function(t) cos(pi*t/n) + 2*floor((1+t)/n))
n.sample <- 50
s <- x[1:(n.sample-1)]
online <- sapply(n.sample:length(x), function(i) {
  s <<- update(s, x[i], i, n.sample)
  summary(s)})
actual <- sapply(n.sample:length(x), function(i) summary(x[1:i]))

この時点onlineで、値のこの実行中のサンプルを維持することによって生成された一連の平均推定値が、各瞬間に利用可能なすべてのデータから生成された一連の平均推定値です。プロットは、データ（灰色）、（黒）、およびこのサンプリング手順の2つの独立したアプリケーション（色）を示しています。合意は予想されるサンプリングエラーの範囲内です。$50$actualactual

plot(x, pch=".", col="Gray")
lines(1:dim(actual)[2], actual["Mean", ])
lines(1:dim(online)[2], online["Mean", ], col="Red")

平均のロバストな推定量については、外れ値および関連する用語を当社のサイトで検索してください。検討する価値のある可能性には、Winsorizedの平均とM-推定量があります。

問題を再帰管理図の問題に関連付けることを考えるかもしれません。そのような管理図は、新しい観察が管理されているかどうかを評価します。そうである場合、この観測は平均と分散の新しい推定に含まれます（管理限界を決定するために必要）。

堅牢で再帰的な一変量管理図の背景については、こちらをご覧ください。品質管理と管理図に関する古典的なテキストの1つは、こちらからオンラインで入手できるようです。

直観的に、平均としてと分散を入力として使用して、時間での新しい観測値がいくつかのアプローチによって異常値であるかどうかを判断できます。が特定の数の標準偏差（外にある場合、を外れ値と宣言することになりますが、データが特定の分布の仮定に準拠していません。この道を進みたい場合は、新しいポイントが外れ値ではないかどうかを判断し、特別な忘却率なしでそれを平均推定値に含めたいとします。次に、あなたはより良いことはできません： σ 2 T - 1 T X T μ T - 1 σ 2 T - 1$\mu_{t-1}$$\sigma^2_{t-1}$$t$$x_t$$\mu_{t-1}$$\sigma^2_{t-1})$

$\mu_t = \frac{t-1}{t}\mu_{t-1}+\frac{1}{t}x_t$

同様に、分散を再帰的に更新する必要があります。

$\sigma^2_t = \frac{t-1}{t}\sigma^2_{t-1}+\frac{1}{t-1}(x_t-\mu_t)^2$

ただし、従来の管理図をいくつか試してみることもできます。データの分布に対してより堅牢で、非定常性を処理できる他の管理図（プロセスのが徐々に高くなるなど）は、EWMAまたはCUSUMが推奨されます（詳細については、上記にリンクされているテキストを参照してください）チャートとその管理限界）。これらの方法は、単一の新しい観測値を外れ値以外の観測値から得られた情報と比較するだけでよいという利点があるため、通常、ロバストなものよりも計算量が少なくなります。必要に応じて、上記の更新式を使用して、これらのメソッドの管理限界計算で使用される長期プロセスおよび推定を調整できます。μ σ $\mu$$\mu$$\sigma^2$

EWMAのような、古い観測を忘れて新しい観測に重みを与えるチャートに関して、データが定常的であると考える場合（生成分布のパラメーターは変化しないことを意味します）、古い観測を指数関数的に忘れる必要はありません。それに応じて忘却係数を設定できます。ただし、それが非定常性であると考える場合は、忘却係数に適切な値を選択する必要があります（これを行う方法については、教科書を再度参照してください）。

オンラインで新しい観測値の監視と追加を開始する前に、外れ値の影響を受けないおよび（トレーニングデータセットに基づく初期パラメーター値）の推定値を取得する必要があることにも言及する必要があります。トレーニングデータに外れ値があると思われる場合は、堅牢な方法を使用してそれらを推定する1回限りのコストを支払うことができます。σ 2 $\mu_0$$\sigma^2_0$

私はこれらの線に沿ったアプローチが問題の最速の更新につながると思います。