ベイジアンガウス過程回帰からの予測は正規分布ですか？

トピックは同じですが、これは他の質問とは直接関係ありません。それはおそらく非常に些細な質問でもありますが、私と一緒にください:)ガウスプロセス回帰の使用について同僚と話していたところ、彼は2つの主張に同意しませんでした：

1. GPRは、予測子が正規分布している場合の応答のモデル化にのみ使用できます。
2. GPRモデルの応答は常に正規分布です。

最初のアサーションは偽（実際、GPRは予測子の結合分布についてまったく仮定を立てていません）であると思いますが、2番目のアサーションは、ハイパーパラメーターが固定されている場合にのみ真です。ただし、完全なベイズアプローチに従い、ハイパーパラメーターの事後確率分布を導出した場合、事後予測分布は正規分布ではなくなります。これは、ハイパーパラメーターと観測を条件とする応答の分布のみです。正規分布。数式では：

$$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$$

と前にGPを想定 $f(\mathbf{x})$。しましょう$\{(\mathbf{x_1},y_1,)\dots,(\mathbf{x_d},y_d,)\}$ 観測値のセットである場合、ハイパーパラメーターの事後確率分布は

$$p(\boldsymbol{\theta}|\mathbf{y})\propto p(\mathbf{y}|\boldsymbol{\theta})p(\boldsymbol{\theta})$$

ここで、ハイパーパラメーターと観測値を条件とする新しい応答ベクトルの分布、つまり、通常は配布されます（そうですか？）ただし、事後予測分布は$\mathbf{y^*}$$p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})$

$$p(\mathbf{y^*}|\mathbf{y})=\int{p(\mathbf{y^*},\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta}=\int{p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})p(\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta}$$

積分では、項が（多変量）正規確率密度関数です。とは、当面の統計的問題をモデル化するのに適切と考えるあらゆる分布を持っているかもしれません。これら3つの分布の積の積分wboldが正規分布していると考える理由はありません。したがって、ベクトルが正規分布しているとは言えません。これは正しいです？$p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})$$p(\mathbf{y}|\boldsymbol{\theta})$$p(\boldsymbol{\theta})$$\boldsymbol{\theta}$$\mathbf{y^*}|\mathbf{y}$

1. GPRは、予測子について統計的な仮定を行いません。数字である必要はありません！必要なのは、事前平均関数と共分散関数だけです。これらは、非数値データ（離散結合和集合、文字列、セットなど）に対しても定義できます。
2. これは、人々がGPRについて話すときに真実であると想定されています。その最も興味深い側面は、正確な推論を可能にするということです。本質的に線形代数に要約されます。ハイパーパラメータよりも前に、非ガウスノイズなどのより多くの柔軟性を導入した瞬間、この重要な特性を失い、近似推論に頼らなければなりません。そうは言っても、GPRベースのモデルを使用すると、通常は計算上の利点があります。