ガウスプロセスの利点

ガウス過程の利点に関連してこの混乱があります。線形関数がデータをモデル化することを定義した単純な線形回帰と比較することを意味します。

ただし、ガウス過程では、関数の分布を定義しているため、関数が線形であることを明確に定義していません。関数の事前分布を定義できます。これは、関数の平滑度などの特徴を定義するガウス事前分布です。

したがって、モデルがどうあるべきかを明示的に定義する必要はありません。しかし、質問があります。限界尤度はありませんが、それを使用して、ガウス事前分布の共分散関数パラメーターを調整できます。したがって、これは本来あるべき機能のタイプを定義することに似ています。

まとめると、GPではハイパーパラメーターですが、パラメーターを定義する同じことになります。例えばこの論文で。彼らは、GPの平均関数は次のようなものであると定義しています。

$$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$$

したがって、モデル/関数が定義されていることは間違いありません。では、関数をLRのように線形に定義することの違いは何でしょうか。

GPを使用するメリットが何も得られなかった

$D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

$$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$$ $K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$$k(\mathbf{x}_i, \mathbf{x}_j)$$\mathbf{x}$ $$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$$ $\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$

$k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

$$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$$ $(X X^T)^{-1}$

$\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$$A$

。

したがって、利点は、適切な共分散関数を使用して非線形関数をモデル化できることです（最先端の関数を選択できます。ほとんどの場合、二乗指数共分散関数はかなり良い選択です）。非線形性の原因は、あなたが言及したトレンド成分ではなく、共分散関数です。

$x$$f$$f(x)$

$max$$f$$x$$f$$\mu$$\Sigma$ （不確実性）、例えば高価なブラックボックス関数の最適化を可能にします。