カーネル回帰はガウスプロセス回帰に似ていますか？

以前は、データを平滑化するためにNadaraya-Watsonカーネル回帰を使用しました。最近、ガウスプロセス回帰に遭遇しました。

一応、彼らは関連していないようです。しかし、私が知らないもっと深いつながりがあるのではないかと思っています。Nadaraya-Watsonカーネル回帰はGPRの特別なケースですか？

はい、GP共分散関数とスムーザーのカーネルに応じて、関連があります。これについては、機械学習のガウス過程の第2章（2.6）で説明しています。二乗指数などの単純な共分散関数でも、関数のスペクトル特性により、複雑な等価カーネルが生成されることに注意してください。

その他の注意事項は次のとおりです。

• 多変量設定では、N-WKRは、各次元の単変量回帰（この回答を参照）に要約されますが、GPは完全な多変量共分散をモデル化できます。
• GP平均関数に相当するものはありません
• N-WKRのカーネルは、有効なGP共分散関数である必要はなく、すべてのカーネルに同等の共分散関数があるとは限りません
• 例えば、カーネル平滑化としての周期的共分散関数に相当する明白なものはありません
• GPでは、共分散関数を自由に組み合わせることができます（乗算または加算など）。たとえば、カーネルクックブックを参照してください。

ガウスプロセスモデリングはカーネルテクニックです。つまり、GPMはカーネル関数を使用して観測されたデータポイント間の多変量ガウス共分散を記述し、回帰は観測されたデータを最もよく記述するカーネルパラメーター（ハイパーパラメーター）を見つけるために使用されます。 。Gaussian Process Modelingは、観測されたデータから外挿して、空間内の任意の点に対して（カーネル関数によって指示される関連する不確実性を伴う）補間平均関数を生成できます。

以下は、一般的に使用されるカーネル関数のタイプとカーネルハイパーパラメーターを推定するために使用されるアプローチを詳細に説明するGPMのリソースです。

http://www.gaussianprocess.org/gpml/

http://www.eurandom.tue.nl/events/workshops/2010/YESIV/Prog-Abstr_files/Ghahramani-lecture2.pdf