ガウス過程：関数近似特性

私はガウス過程について学んでいますが、聞いたことがあります。コメントと回答を本当に感謝します。

データのセットについて、ガウス過程関数の近似がデータポイントでゼロまたは無視できるフィッティングエラーを与えるのは本当ですか？別の場所で、Gaussian Processはノイズの多いデータに特に適していると聞きました。これは、観測されたデータの低フィッティングエラーと矛盾しているようです。

さらに、データポイントから離れると、不確実性が大きくなります（共分散が大きくなります）。その場合、ローカルモデル（RBFなど）のように動作しますか？

最後に、普遍的な近似特性はありますか？

gaussian-process

— オアラ
ソース

データサンプルがますまた、共分散関数とGussianプロセスに指定されたゼロ平均があると仮定します。新しい点の分布は、平均および分散ガウス分布になりますベクトルは共分散のベクトルです、行列 $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m （ バツ ） = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$

V （ バツ ） = k （ バツ 、 バツ ） - k K^{- 1} k^{T} 。

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$ サンプルの共分散の行列です。サンプル内挿特性の事後分布の平均値を使用して予測を行う場合。本当に、ただし、正則化を使用する場合、つまりホワイトノイズ項を組み込む場合は当てはまりません。この場合、サンプルの共分散行列の形式はですが、実関数値の共分散の場合は共分散行列があり、事後平均はさらに、正則化により、問題の計算がより安定します。

m （ バツ ） = K K^{- 1} y = y 。

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

m （ バツ ） = K （ K + σ 私 ）^{- 1} y \neq y 。

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$

ノイズ分散を選択すると、補間が必要か（）、ノイズのある観測を処理するか（は大きい）を選択できます。 $\sigma$ $\sigma = 0$ $\sigma$

また、学習サンプルまでの距離に応じて予測の分散が大きくなるため、ガウス過程回帰はローカルメソッドですが、適切な共分散関数を選択し、RBFよりも複雑な問題を処理できます。もう1つの優れたプロパティは、少数のパラメーターです。通常、これはに等しく、はデータ次元です。 $k$ $O(n)$ $n$

— アレクセイ・ザイツェフ
ソース