無限次元基底関数ビューによるガウス過程回帰の理解

ガウス過程回帰は、（おそらく）無限量の基底関数を持つベイズ線形回帰に対応する（GPR）とよく言われます。私は現在、GPRを使用してどのようなモデルを表現できるかについての直感を得るために、これを詳細に理解しようとしています。

これはGPRを理解しようとする良いアプローチだと思いますか？

ブック内の機械学習のためのガウスプロセスラスムッセンとウィリアムズショーはガウスプロセスのセットがパラメータ化指数乗にカーネルによって記載されたもの等価前信念とベイズ回帰として説明することができるの重みに、フォームの基底関数の無限量

k （ バツ 、 {バツ}^{'}; l ） = σ_{p}^{2} \exp （ - \frac{（ バツ - バツ ）^{2}}{2 l^{2}} ）

$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$

w \sim N (0, σ_{p}^{2} I)

$w \sim \mathcal{N}(0,\sigma_p^2 I)$

したがって、カーネルのパラメーター化は、基底関数のパラメーター化に完全に変換できます。

ϕ_{c} （ バツ; l ） = \exp （ - \frac{（ バツ - c ）^{2}}{2 l^{2}} ）

$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$

微分可能カーネルのパラメーター化は、常に事前関数と基底関数のパラメーター化に変換できますか、または基底関数の数が構成に依存する微分可能カーネルがありますか？

$k(x,x')$

k （ バツ 、 {バツ}^{'} ） = \sum_{私 = 1}^{\infty} λ_{私} ϕ_{私} （ バツ ） ϕ_{私} （ {バツ}^{'} ）

$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$

ϕ_{i}

$\phi_i$

w \sim N (0, diag ([λ_{1}^{2}, \dots]))

$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$

ϕ_{i}

$\phi_i$

k (x, x^{'}, θ)

$k(x,x',\theta)$

θ

$\theta$

次の質問は、マーカーの定理の逆についてです。

有効なカーネルにつながる基底関数のセットはどれですか？

そして拡張子

パラメータ化された基底関数のどのセットが有効な微分可能カーネルにつながりますか？

gaussian-process kernel-trick basis-function

— ジュリアン・カールス
ソース

ここにいくつかのコメントがあります。おそらく他の誰かが詳細を記入することができます。

1）基底表現は常に良いアイデアです。共分散関数を使って実際に計算を行いたい場合、それらを避けるのは困難です。基底展開により、カーネルの近似値や操作対象を得ることができます。希望は、あなたが解決しようとしている問題にとって意味のある基礎を見つけることができることです。

$\theta$ $\theta$

通常、基底関数の数は（数えて）無限であるため、いくつかの値がカーネルを退化させない限り、パラメーターによって数は変化しません。

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$ $w$ $diag[\lambda_1^2, \ldots]$

$\lambda_i$ $\lambda_i$ $x$ の

基底関数が直交でない場合、基底関数から定義された共分散が正定であることを示すのはより困難になります。明らかに、その場合、固有拡張ではなく、目的の関数を近似する他の方法を扱っています。

しかし、人々は通常、たくさんの関数から始めて、それらから共分散カーネルを構築しようとは思わない。

RE：カーネルの微分可能性と基底関数の微分可能性。この質問に対する答えは実際にはわかりませんが、次の観察結果を提供します。

機能分析は、より単純な関数の有限和で（無限次元空間から）関数を近似することにより進行します。これを機能させるためには、すべてが関連する収束のタイプに依存します。通常、目的の関数の強力な収束特性（均一な収束または絶対可算性）を持つコンパクトなセットで作業している場合、探している種類の直感的な結果が得られます：単純な関数のプロパティは制限関数-たとえば、カーネルがパラメーターの微分可能な関数である場合、拡張関数は同じパラメーターの微分可能な関数でなければならず、その逆も同様です。収束性の弱いドメインまたは非コンパクトなドメインでは、これは起こりません。私の経験では、思い付くすべての「合理的な」アイデアに対する反例があります。

注：この質問の読者からの混乱を未然に防ぐために、ポイント1のガウス展開はポイント2の固有展開の例ではないことに注意してください。

— プラキディア
ソース