増分ガウスプロセス回帰

ストリームを介して1つずつ到着するデータポイントにスライディングウィンドウを使用して、増分ガウスプロセス回帰を実装したいと思います。

ましょう入力空間の次元を表します。したがって、すべてのデータポイントx iにはd個の要素があります。$d$$x_i$$d$

してみましょうスライディングウィンドウのサイズです。$n$

予測を行うには、グラム行列逆を計算する必要があります。ここで、K i j = k （x i、x j）であり、kは2乗指数カーネルです。$K$$K_{ij} = k(x_i, x_j)$

Kが新しいデータポイントごとに大きくなるのを避けるために、新しいポイントを追加する前に最も古いデータポイントを削除して、グラムが大きくならないようにすることができると考えました。例えば、聞かせてここで、Σは、重みの共分散であり、φは、二乗指数カーネルによって暗示暗黙的なマッピング関数です。$K = \phi(X)^{T}\Sigma\phi(X)$$\Sigma$$\phi$

今聞かせて ]およびX n e w = [ x t − n + 2 | 。。。| x t | X T + 1 ] X「sはさdはによって1列の行列。$X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$$X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$$x$$d$$1$

Kを潜在的に使用してを見つける効果的な方法が必要です。これは、シャーマンモリソンの公式で効率的に処理できる、ランク1の更新された行列の問題の逆のようには見えません。$K_{new}^{-1}$$K$

これを行うための再帰アルゴリズムがいくつかあります。カーネル再帰的最小二乗（KRLS）アルゴリズム、および関連するオンラインGPアルゴリズムを確認する必要があります。

• Van Vaerenbergh、S.、Santamaria、I.、Liu、W.およびPrincipe、JC（2010）。固定予算カーネルの再帰的最小二乗法。Acoustics Speech and Signal Processing（ICASSP）、2010 IEEE International Conference on、pages 1882-1885。IEEE。
• Lazaro-Gredilla、M.、Van Vaerenbergh、S。、およびSantamaria、I。（2011）。カーネルの再帰的最小二乗法で追跡するベイジアンアプローチ。信号処理の機械学習（MLSP）、2011 IEEE International Workshop、ページ1〜6。IEEE。
• Perez-Cruz、F.、Van Vaerenbergh、S.、Murillo-Fuentes、JJ、Lazaro-Gredilla、M.およびSantamaria、I.（2013）。非線形信号処理のためのガウス過程：最近の進歩の概要。IEEE Signal Processing Magazine、30（4）：40-50。

GPモデルの段階的推定は、文献でよく研究されています。根底にある考え方は、予測するすべての新しい観測に条件を付けるのではなく、1ステップ先の点に条件を付けて、これを繰り返し実行することです。これは何とかカルマンフィルタリングに近くなります。