予測不確実性を伴うノンパラメトリック非線形回帰（ガウスプロセス以外）

トレーニングセットのサイズがバニラGPで禁止され始めたが、それでもそれほど大きくない場合、予測の不確実性を伴うノンパラメトリック非線形回帰のためのガウスプロセス（GP）の最新の代替手段は何ですか？

私の問題の詳細は：

• 入力空間は低次元です（、）$\mathcal{X} \subseteq \mathbb{R}^d$$2\le d \le 20$
• 出力は実数値です（）$\mathcal{Y} \subseteq \mathbb{R}$
• トレーニングポイントは、標準のGP（近似なし）で処理できるものよりも1桁程度大きい$10^3 \lesssim N \lesssim 10^4$
• 近似する関数$f: \mathcal{X} \rightarrow \mathcal{Y}$はブラックボックスです。連続性と滑らかさの相対的な程度を仮定できます（たとえば、GPには\ nu = \ frac {5} {2}の Matérn共分散行列を使用します$\nu = \frac{5}{2}$）
• クエリされた各ポイントについて、近似は予測の平均と分散（または不確実性の類似の測定）を返す必要があります
• 1つまたはいくつかの新しいトレーニングポイントがトレーニングセットに追加されたときに、メソッドが比較的高速（数秒程度）で再トレーニング可能である必要があります

どんな提案も歓迎します（メソッドへのポインタ/言及と、それがうまくいくと思う理由）。ありがとうございました！

5/2のMatérn共分散行列は、ほぼ乗指数カーネルに収束しています。$ν=5/2$

したがって、このシナリオでは、放射基底関数（RBF）ベースのアプローチが最適だと思います。それは高速であり、あなたが持っている一種のブラックボックス機能で機能し、不確実性の測定値を得ることができます。

GPの誘導点近似を使用することもできます。文献でFITCを参照してください。ただし、誘導点を選択する場所について同じ問題があります。