ガウス過程（回帰）には普遍的な近似特性がありますか？

[a、b]の連続関数（aとbは実数）をガウスプロセス（回帰）で近似するか、関数に（ある基準で）任意に近づけることはできますか？

gaussian-process approximation

— マイケルD
ソース

具体的に！

— Henry.L 2017年

はい！まあ、実際には、それは共分散関数に依存しますが、それらのいくつかはそうです。ダスティン・トラン他は、変分ガウス過程のベイジアンフレームワークで汎用近似定理も証明しました。これは、ワーピング関数のために、より複雑なモデルですが、非常に密接に関連しています。質問が再開された場合は、回答を書きます。PSは、ニューラルネットワークの場合と同様に、ユニバーサル近似は全体ではなく、コンパクトなセットでのみ保持されることに注意してください。

R^{p}

$\mathbb{R}^p$

— DeltaIV

この質問の「普遍的近似」の記述は、参照されているウィキペディアの記事の記述とはほとんどまたはまったく関係がないようです。実際、関数をプロセスでどのように近似できるかさえも明確ではありません。あなたが尋ねようとしていることについて詳しく説明してもらえますか？

— whuber

@whuber専門性は少し緩いかもしれませんが、質問は本質的に「入力関数について、任意の（ある規範で）近い特定のGPの実現はありますか？」あるいは、「関数から無限に多くのサンプルポイントを観察し、そのデータを使用して標準GP推論を実行すると、学習された事後平均関数は（ある意味で）真の関数近づきますか？」これら2つはもちろん異なるプロパティですが、答えられるほど十分に近いと考えます（したがって、5回目の再開投票を行います）。

f

$f$

f

$f$

f

$f$

f

$f$

— Dougal

おそらく、近似ではなく収束を証明したいと思うかもしれません。それ以外の場合、証明は単純です。平均の前の関数を使用できます。これはですが、機能します。

x = x

$x=x$

— Karel Macek 2017年

@Dougalによると、質問を解釈する方法は2つあります。たとえそうでなくても、それらは密接に関連しています。

最初の解釈は次のとおりですをコンパクトなサブセットとする（コンパクトさは以下のすべてにとって基本です!!!）、をaとしますで定義された連続共分散関数（またはカーネル）で、最大ノルム備えた上の連続関数のノルム空間を示します。任意の関数、関連付けられたRKHS（カーネルヒルベルト空間の再現）内の関数によって、事前に指定された許容誤差近似できます。 $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ $\epsilon$ $k$ ？RKHSとは何か、これはすべてガウスプロセス回帰とどのように関係しているのでしょうか。RKHSは、すべての可能な関数のすべての可能な有限線形結合によって形成されるベクトル空間のクロージャーですここで、です。これはガウス過程の回帰に非常に厳密に関連しています。なぜなら、空間上のガウス過程の前のが与えられると、（の閉包）ガウス過程回帰によって生成できるすべての可能な事後平均の空間は、まさにRKHSです。実際のところ、すべての可能な事後手段は次の形式です $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

つまり、それらは関数有限線形結合です。ガウスプロセス前与え、場合したがって、我々は、効果的に求めている上にの任意の機能のために、が常に、GPRで生成できるすべての関数の（閉包）空間にある関数です。これは、できるだけ近いです。 $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ $f$

いくつかの特定のカーネル（古典的な二乗指数カーネルを含むが多項式カーネルは含まない）に対する答えはyesです。このようなカーネルの場合、はで密であることが証明できます。つまり、任意のおよび任意の許容誤差場合、があります。その。仮定に注意してくださいはコンパクト、は連続、はいわゆるユニバーサル近似プロパティを持つ連続カーネルです。こちらをご覧ください $K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ $X$ $f$ $k$ より一般的な（したがって複雑な）コンテキストでの完全な証明。

この結果は、一見した場合よりもはるかに強力ではありません。場合でも、 GPRによって生成することができる事後手段のスペース（閉鎖）で、我々はそれがあることを証明していないされている特定の事後研修は、どこの十分な大きさを設定するために、GPRによって返された意味しますもちろん、トレーニングセットは、点でののノイズの多い観測で構成されています。について、GPRによって返される事後平均が収束することさえ証明していません。これは実際には@Dougalによって提案された2番目の解釈です。この質問への回答は、最初の質問への回答によって異なります。関数がない場合 $f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ $f^*$ 「良い近似」であるRKHS では、もちろん、GPRによって返される事後平均がそれに収束することは期待できません。ただし、別の質問です。この質問にも回答したい場合は、新しい質問をしてください。 $f$

— DeltaIV
ソース