新しい観測ストリームとしてMLEを再帰的に更新

一般的な質問

我々はIIDデータ持っていると言う、、... 中でストリーミング私たちは、再帰的の最尤推定値を計算します。。つまり、新しいを観察し、推定値徐々に更新したいをゼロから開始する必要はありません。このための一般的なアルゴリズムはありますか？ $x_1$ $x_2$ $\sim f(x\,|\,\boldsymbol{\theta})$ $\boldsymbol{\theta}$

{\hat{θ}}_{n - 1} = \underset{θ \in R^{p}}{\arg max} \prod_{i = 1}^{n - 1} f (x_{i} | θ),

$\hat{\boldsymbol{\theta}}_{n-1}=\underset{\boldsymbol{\theta}\in\mathbb{R}^p}{\arg\max}\prod_{i=1}^{n-1}f(x_i\,|\,\boldsymbol{\theta}),$

x_{n}

$x_n$

{\hat{θ}}_{n - 1}, x_{n} \to {\hat{θ}}_{n}

$\hat{\boldsymbol{\theta}}_{n-1},\,x_n \to \hat{\boldsymbol{\theta}}_{n}$

おもちゃの例

もし $x_1$ 、 $x_2$ 、... $\sim N(x\,|\,\mu, 1)$ 、次いで

{\hat{μ}}_{n - 1} = \frac{1}{n - 1} \sum_{i = 1}^{n - 1} x_{i} and {\hat{μ}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\hat{\mu}_{n-1} = \frac{1}{n-1}\sum\limits_{i=1}^{n-1}x_i\quad\text{and}\quad\hat{\mu}_n = \frac{1}{n}\sum\limits_{i=1}^nx_i,$ そう

{\hat{μ}}_{n} = \frac{1}{n} [(n - 1) {\hat{μ}}_{n - 1} + x_{n}] .

$\hat{\mu}_n=\frac{1}{n}\left[(n-1)\hat{\mu}_{n-1} + x_n\right].$

maximum-likelihood online

— jcz
ソース

この問題の逆を忘れないでください。古い観測値が削除されると推定器を更新します。

— 香港大井

再帰的最小二乗（RLS）は、この問題の特定の1つのインスタンスに対する（非常に有名な）ソリューションです。一般的に、確率的フィルタリングの文献は調べるのに役立つと信じています。

— ジン

回答:

十分性の概念、特に最小限の十分な統計を参照してください。多くの場合、特定のサンプルサイズで推定値を計算するためにサンプル全体が必要です。1サイズ小さいサンプルから簡単に更新する方法はありません（つまり、便利な一般的な結果はありません）。

分布が指数関数族である場合（さらに、他のいくつかのケースではユニフォームはきちんとした例です）、多くの場合、求める方法で更新できる十分な統計があります（つまり、多くの一般的に使用される分布がある高速アップデート）。

私が計算または更新する直接的な方法を知らない1つの例は、コーシー分布の位置の推定です（たとえば、問題を単純な1つのパラメーターの問題にするための単位スケール）。ただし、更新が高速になっている可能性がありますが、気づいていないだけです。更新のケースを検討するために、一見以上のことをしたとは言えません。

一方、数値最適化手法によって取得されたMLEでは、通常、以前の推定値が更新された推定値に非常に近いため、以前の推定値は多くの場合大きな出発点となります。その意味では、少なくとも、多くの場合、迅速な更新が可能です。ただし、これは一般的なケースではありません-マルチモーダル尤度関数（ここでも例としてCauchyを参照）を使用すると、新しい観測により、前のモードからの距離が最高のモードになる可能性があります（それぞれの位置が最大の少数のモードの多くはあまりシフトしませんでした。

— Glen_b -Reinstate Monica
ソース

ありがとう！おそらく途中でモードを切り替えるMLEに関するポイントは、これが一般に難しい理由を理解するのに特に役立ちます。

— jcz

これは、上記の単位スケールのコーシーモデルとデータ（0.1,0.11,0.12,2.91,2.921,2.933）で確認できます。モードの位置の対数尤度は0.5と2.5に近く、（わずかに）高いピークは0.5に近いピークです。次の観測10を行い、2つのピークのそれぞれのモードはほとんど動かないが、2番目のピークはかなり高くなっています。勾配降下は、それが起こったときにあなたを助けません、それはほとんど再び始めるようなものです。人口が、場所が異なる2つの類似したサイズのサブグループが混在している場合、そのような状況が発生する可能性があります-。... ctd

— Glen_b -Reinstate Monica

ctd ...比較的大きなサンプルでも。適切な状況では、モードの切り替えはかなり頻繁に発生する可能性があります。

— Glen_b -Reinstateモニカ

マルチモダリティを妨げる条件は、尤度がすべてのパラメーターベクトルに対して対数凹であることです。ただし、これはモデルの制限を意味します。

n

$n$

— イヴ

はい正解; 私は答えでそれを議論するかどうかについて自分と議論しました。

— Glen_b-モニカーの復活

機械学習では、これをオンライン学習と呼びます。

@Glen_bが指摘したように、以前のすべてのデータにアクセスする必要なくMLEを更新できる特別なケースがあります。彼が指摘しているように、MLEを見つけるための一般的な解決策があるとは思わない。

近似解を見つけるためのかなり一般的なアプローチは、確率的勾配降下のようなものを使用することです。この場合、各観測値が入力されると、この個々の観測値に対する勾配を計算し、パラメーター値をこの方向に非常にわずかに移動します。特定の条件下では、これがMLEの近傍に高い確率で収束することを示すことができます。ステップサイズを小さくすると、近傍はより厳密になりますが、収束にはより多くのデータが必要です。ただし、これらの確率的手法は、一般に、閉じたフォームの更新などよりも優れたパフォーマンスを得るために、はるかに手間がかかります。

— クリフAB
ソース