ガウス過程を理解しようとしています

私はGPMLブックを読んでおり、第2章（15ページ）で、Gaussian Process（GP）を使用して回帰を行う方法を説明していますが、それがどのように機能するかを理解するのに苦労しています。

パラメトリックモデルのベイズ推定では、まずモデルパラメーター事前分布、つまります。次に、トレーニングデータ与えられたときに、尤度を計算します。そして最後に、我々は後方持っようにで使用される、予測分布 $\theta$ $p(\theta)$ $D$ $p(D|\theta)$ $\theta$ $p(\theta|D)$ 以上、そして、我々は右、パラメトリックモデルのためのベイズ推論で何ですか？

p (y^{*} | x^{*}, D) = \int p (y^{*} | x^{*}, θ) p (θ | D) d θ

$p(y^*|x^*,D)=\int p(y^*|x^*,\theta)p(\theta|D)d\theta$

さて、本で述べたように、GPはノンパラメトリックであり、私が理解している限り、平均関数 と共分散関数指定した後、関数 GPがあります、、そしてこれは前の。これで、ノイズのないトレーニングデータセット $m(x)$ $k(x,x')$ $f$

f \sim G P (m, k)

$f \sim GP(m,k)$

f

$f$

、可能性

を計算し、次に事後

を計算し、最後に事後を使用して予測を行う必要があると考えました。

D = {(x_{1}, f_{1}), . . ., (x_{n}, f_{n})}

$D=\{(x_1,f_1),...,(x_n,f_n)\}$

p (D | f)

$p(D|f)$

p (f | D)

$p(f|D)$

しかし、それは本がすることではありません！つまり、前の指定した後は、尤度と事後は計算されませんが、予測予測に直接進みます。 $p(f)$

質問：

1）尤度と事後を計算しないのはなぜですか？GPがノンパラメトリックだからといって、それを行わないのですか？

$\textbf f$ $\textbf f^*$

$f$

machine-learning gaussian-process

— アボカド
ソース

個人的には、GP回帰はベイジアンアプローチの手順に従っていないため、GP回帰はベイジアン推論に属しているとは思いません。GPのいわゆる予測分布は、前ののトレーニングデータとテストデータを結合し、次にトレーニングデータに条件を付けることで得られます。尤度や事後は利用されません。

— アボカド2014年

上記は、パラメトリックモデルのベイジアン推論で行うことです。

本は、パラメーターに事後がある場合、パラメトリックモデルまたは他のベイジアン法と同じベイジアンモデル平均化を使用しています。

これでノイズのないトレーニングデータセットができました

「ノイズフリー」である必要はありません。後のページを参照してください。

しかし、それは本がすることではありません！つまり、前のp（f）を指定した後は、尤度と事後は計算されませんが、予測予測に直接進みます。

これを見てください：https：//people.cs.umass.edu/~wallach/talks/gp_intro.pdf

私は、17ページで、以前の可能性と後で可能性があると思います。導関数を記述し、事後を見つけ、（重み空間ビューのように）予測のために事後を平均すると、平均と共分散について19ページと同じ方程式が得られると思います。

— ダニエル
ソース

p (f^{*} | f)

$p(f^*|f)$

条件を見つけることは、基本的にベイズの公式を使用しています。従来のベイズの定式化での記述は、GPにとって少し面倒です。彼らは単に条件を見つけることを参照し、....

— ダニエル

p (x | y) = p (x, y) / p (y)

$p(x|y)=p(x,y)/p(y)$

p (x | y) = p (y | x) p (x) / p (y)

$p(x|y)=p(y|x)p(x)/p(y)$

そして、あなたがすることによって、「従来のベイズの製剤で何かを書くことがGPS用面倒です」のコメントで言ったように、従来のベイズの製剤、もしかして、最初の事後計算

、その後、予測分布の計算

p (f | D)

$p(f|D)$

p (f^{*} | D) = \int p (f^{*} | f) p (f | D) d f

$p(f^*|D)=\int p(f^*|f)p(f|D)df$