回答:
ほとんどのオンライン学習アルゴリズムは、これらの系統のうち少なくとも1つに由来します。
パーセプトロン
最先端のパーセプトロンは、パッシブアグレッシブアルゴリズム、構造化パーセプトロン、およびそれらの多くの種類です。
ウィンナウ
ウィノウは指数勾配法として再定式化されており、構造化問題にも適用できます。SMIDASなど、L1正則化を直接処理する（スパース性を保証する）種類もあります。
確率的勾配降下
確率的勾配降下法は、おそらくバッチ問題にオンライン最適化を適用する場合です。最先端のアルゴリズムはLeon BottouのLaSVMであるPegasosであり、多くのニューラルネットワークアルゴリズムはこの設定で簡単にトレーニングできます。多くの例についてはtheanoチュートリアルを参照してください。多分、オンラインEMはここに適合します。
粒子フィルタリング
これはrao-blackwellized推論としても知られており、より多くのデータが到着すると、グラフィカル/確率モデルを更新できます。オンライントピックモデルやSMCのNIPSチュートリアルが良い例です。
オンライン学習、などといくつかのより広範な問題もあります変換するバッチ・オンライン、（のようなカーネルでオンライン学習のための予算のテクニックこの紙、この紙、およびこの紙）、一般化境界の多くの異なった味、スパース性の懸念（とも私が上で引用したSMIDAS論文）、メモリを節約するためのハッシュ、および他の多くの問題。
私が最初にお勧めする素晴らしい調査論文としてのAvrim Blum：「機械学習におけるオンラインアルゴリズム」http://www.cs.cmu.edu/~avrim/Papers/survey.ps
オンライン学習の背後にある理論についての情報を探しているなら、Cesa-BianchiとLugosiによる本は確かなリファレンスです。
オンライン学習の理論と実践について、Yoram SingerとShai Shalev ShwartzによるICML 2008のすばらしいチュートリアルがあります。
機械学習-コース資料-スタンフォード http://www.stanford.edu/class/cs229/materials.html
機械学習と人工知能のビデオ講義 http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html
機械学習用のガウスプロセス http://www.gaussianprocess.org/gpml/