タグ付けされた質問 「basis-function」

ガウス過程回帰は、（おそらく）無限量の基底関数を持つベイズ線形回帰に対応する（GPR）とよく言われます。私は現在、GPRを使用してどのようなモデルを表現できるかについての直感を得るために、これを詳細に理解しようとしています。 これはGPRを理解しようとする良いアプローチだと思いますか？ ブック内の機械学習のためのガウスプロセスラスムッセンとウィリアムズショーはガウスプロセスのセットがパラメータ化指数乗にカーネルによって記載されたもの等価前信念とベイズ回帰として説明することができるW〜N（0、σ 2 のp I）の重みに、フォームの基底関数の無限量φC（X;L）=EXP（- （x−c）2k （x 、x′; l ）= σ2pexp（ − （x − x ）22 リットル2）k（バツ、バツ′;l）=σp2exp⁡（−（バツ−バツ）22l2）k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)ワット〜N（0 、σ2p私）w〜N（0、σp2私）w \sim \mathcal{N}(0,\sigma_p^2 I) したがって、カーネルのパラメーター化は、基底関数のパラメーター化に完全に変換できます。ϕc（x ; l ）= exp（ − （x − c ）22 リットル2）ϕc（バツ;l）=exp⁡（−（バツ−c）22l2）\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right) 微分可能カーネルのパラメーター化は、常に事前関数と基底関数のパラメーター化に変換できますか、または基底関数の数が構成に依存する微分可能カーネルがありますか？ k （x 、x′）k（バツ、バツ′）k(x,x')k （x 、x′）= ∑i = 1∞λ私ϕ私（x ）ϕ私（x′）k（バツ、バツ′）=∑私=1∞λ私ϕ私（バツ）ϕ私（バツ′）k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')ϕ私ϕ私\phi_iワット〜N（0 、diag （[ λ21、… ] ）））w〜N（0、診断（[λ12、…]））w …

14 gaussian-process  kernel-trick  basis-function 

ガウス基底関数を線形回帰の実装に適用したいと思います。残念ながら、基底関数のいくつかのパラメーターを理解するのに苦労しています。特にμμ\muおよびσσ\sigmaです。 私のデータセットは10,000 x 31のマトリックスです。10,000個のサンプルと31個の機能。「各基底関数は入力ベクトルxをスカラー値に変換します」と読みました。したがって、xは1サンプルなので、1 x 31ベクトルであると想定します。ここから私は混乱しています。正確に何であるμjμj\mu_jパラメータは？これが基底関数の位置を支配することを読んだことがあります。これは何かの平均ではありませんか？また、下付き文字j（μμ\muおよびϕϕ\phi）によって投げ捨てられます。これにより、j番目の行と思われます。しかし、それは意味をなさないようです。あるμjμj\mu_jベクトル？さて、σσ\sigmaそれは「空間規模を支配する」。それは正確に何ですか？このパラメーターに対して.1、.5、2.5などの値を試す実装をいくつか見てきました。これらの値はどのように計算されますか？私は研究を行い、そこから学ぶための例を探してきましたが、現時点ではまだ見つけることができていません。どんな助けや指示も大歓迎です！ありがとうございました。

12 regression  machine-learning  basis-function