タグ付けされた質問 「gaussian-process」

GPについて読み始めたばかりで、平均関数と共分散関数またはカーネルによって特徴付けられる正規のガウス分布に類似しています。私は話をしていましたが、スピーカーは、平均関数は通常非常に面白くなく、すべての推論の努力は正しい共分散関数の推定に費やされていると言いました。 なぜそうなるべきかを誰かが私に説明できますか？

28 gaussian-process 

私は少し混乱しています。ガウス過程がノンパラメトリックモデルと呼ばれるのはなぜですか？ 関数値またはそのサブセットは、カーネル関数として与えられた平均0と共分散関数を持つガウス事前分布を持っていると仮定しています。これらのカーネル関数自体には、いくつかのパラメーター（ハイパーパラメーターなど）があります。 それでは、なぜそれらはノンパラメトリックモデルと呼ばれているのでしょうか？

26 nonparametric  gaussian-process 

ベイジアン手法が過剰適合しないのは本当ですか？（この主張をするいくつかの論文やチュートリアルを見ました） たとえば、ガウス過程をMNIST（手書き数字分類）に適用し、単一のサンプルのみを表示する場合、その単一のサンプルとは異なる入力であっても、差は小さいものの前の分布に戻りますか？

25 bayesian  nonparametric  gaussian-process  overfitting  misspecification 

私は、Maraunら、「ウェーブレット領域の非定常ガウス過程：合成、推定、および重要なテスト」（2007）を読みました。これは、ウェーブレット領域の乗数によって指定できる非定常GPのクラスを定義します。そのようなGPの実現は次 ここではホワイトノイズ、はウェーブレットに関する連続ウェーブレット変換です。、はスケールと時間の乗数（フーリエ係数のようなもの）であり、は再構成ウェーブレット逆ウェーブレット変換です。η （t ）W g g m （b 、a ）a b M h hs （t ）= Mhm （b 、a ）Wgη（t ）、s(t)=Mhm(b,a)Wgη(t), s(t) = M_h m(b,a) W_g \eta(t)\, , η（t ）η(t)\eta(t)WgWgW_ggggm （b 、a ）m(b,a)m(b,a)aaabbbMhMhM_hhhh この論文の重要な結果の1つは、乗数変化がゆっくりである場合、実現自体はと実際の選択に「わずかに」依存するということです。したがって、はプロセスを指定します。彼らは、実現に基づいてウェーブレット乗数を推測するのに役立ついくつかの重要なテストを作成し続けます。g h m （b 、a ）m （b 、a ）m(b,a)m(b,a)ggghhhm （b 、a ）m(b,a)m(b,a) 2つの質問： 1.ある標準GP尤度をどのように評価しますか？p （D ）= N（0 …

20 normal-distribution  stochastic-processes  gaussian-process  fourier-transform  wavelet 

マテルン共分散関数は、一般にガウス過程のカーネル関数として使用されます。このように定義されます Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν(2ν−−√dρ)Cν(d)=σ221−νΓ(ν)(2νdρ)νKν(2νdρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} ここで、は距離関数（ユークリッド距離など）、はガンマ関数、は第2種の修正ベッセル関数、およびは正のパラメーターです。は、実際にはまたはに選ばれた多くの時間です。dddΓΓ\GammaKνKνK_\nuρρ\rhoνν\nuνν\nu3232\frac{3}{2}5252\frac{5}{2} 多くの場合、このカーネルは「滑らかではない」ため標準のガウスカーネルよりもうまく機能しますが、それ以外に、このカーネルを好む他の理由はありますか？それがどのように振る舞うかについてのいくつかの幾何学的な直観、または一見不可解な式の説明は高く評価されるでしょう。

19 spatial  gaussian-process  kernel-trick 

昨年のNIPS 2017では、アリラヒミとベンレヒトが論文「大規模カーネルマシンのランダム機能」で時間賞を受賞し、ランダムキッチンシンクアルゴリズムとして体系化されました。彼らの論文を公表する一環として、彼らは彼らのモデルが5行のmatlabで実装できることを示しました。 % Approximates Gaussian Process regression % with Gaussian kernel of variance gamma^2 % lambda: regularization parameter % dataset: X is dxN, y is 1xN % test: xtest is dx1 % D: dimensionality of random feature % training w = randn(D,d); b = 2 * pi * rand(D, 1); …

18 machine-learning  svm  gaussian-process  approximation 

注： 1か月後に正しい答えが得られないため、SOに再投稿しました バックグラウンド モデルがあり、Y = f （X）fffY=f(X)Y=f(X)Y=f(\textbf{X}) n × m m Y n × 1XX\textbf{X}はパラメーターからのサンプルの行列で、はモデル出力のベクトルです。n×mn×mn \times mmmmYYYn×1n×1n \times 1 f （X 、Y ）Yfffは計算量が多いためポイントを通る多変量3次スプラインを使用してを近似し、より多くのポイントでを評価できるようにします。fff（X、Y）（バツ、Y）(X,Y)YYY 質問 XとYの間の任意の関係を計算するR関数はありますか？ 具体的にはsplinefun、単変量の場合にスプライン関数を生成する関数の多変量バージョンを探しています。 たとえば、これはsplinefun単変量の場合にどのように機能するかです x <- 1:10 y <- runif(10) foo <- splinefun(x,y) foo(1:10) #returns y, as example all(y == foo(1:10)) ## TRUE 私が試したこと mdaパッケージを確認しましたが、次のように動作するはずです。 library(mda) x …

17 r  multivariate-analysis  splines  interpolation  gaussian-process 

私はガウス過程について学んでいますが、聞いたことがあります。コメントと回答を本当に感謝します。 データのセットについて、ガウス過程関数の近似がデータポイントでゼロまたは無視できるフィッティングエラーを与えるのは本当ですか？別の場所で、Gaussian Processはノイズの多いデータに特に適していると聞きました。これは、観測されたデータの低フィッティングエラーと矛盾しているようです。 さらに、データポイントから離れると、不確実性が大きくなります（共分散が大きくなります）。その場合、ローカルモデル（RBFなど）のように動作しますか？ 最後に、普遍的な近似特性はありますか？

16 gaussian-process 

CE RasmussenとCKI Williamsによる教科書の機械学習のためのガウス過程を読んでいますが、関数上の分布が何を意味するのか理解するのに苦労しています。教科書では、関数を非常に長いベクトルと考えるべきであるという例が示されています（実際、無限に長いはずですか？）。したがって、関数全体の分布は、そのようなベクトル値の「上」に描かれた確率分布であると思います。それでは、関数がこの特定の値を取る可能性はありますか？それとも、関数が特定の範囲内の値をとる確率でしょうか？または、関数の分布は関数全体に割り当てられた確率ですか？ 教科書からの引用： 第1章：はじめに、2ページ ガウス過程は、ガウス確率分布の一般化です。確率分布はスカラーまたはベクトル（多変量分布の場合）であるランダム変数を記述しますが、確率的プロセスは関数のプロパティを管理します。数学的な洗練はさておき、関数を非常に長いベクトルと大まかに考えることができます。ベクトルの各エントリは特定の入力xで関数値f（x）を指定します。この考えは少し素朴ではありますが、驚くべきことに私たちが必要とするものに近いことがわかりました。実際、これらの無限次元オブジェクトをどのように計算的に処理するかという問題は、想像できる限り最も快適な解像度を持っています。有限数の点で関数のプロパティのみを要求する場合、 第2章：回帰、7ページ ガウス過程（GP）回帰モデルを解釈する方法はいくつかあります。ガウス過程は、関数の分布を定義し、関数の空間である関数空間ビューで直接行われる推論と考えることができます。 最初の質問から： この概念図を作成して、自分でこれを視覚化しようとしました。私が自分のために作ったそのような説明が正しいかどうかはわかりません。 更新後： Gijsの回答の後、私は写真を更新して、概念的には次のようにしました。

15 distributions  gaussian-process 

ガウス過程回帰は、（おそらく）無限量の基底関数を持つベイズ線形回帰に対応する（GPR）とよく言われます。私は現在、GPRを使用してどのようなモデルを表現できるかについての直感を得るために、これを詳細に理解しようとしています。 これはGPRを理解しようとする良いアプローチだと思いますか？ ブック内の機械学習のためのガウスプロセスラスムッセンとウィリアムズショーはガウスプロセスのセットがパラメータ化指数乗にカーネルによって記載されたもの等価前信念とベイズ回帰として説明することができるW〜N（0、σ 2 のp I）の重みに、フォームの基底関数の無限量φC（X;L）=EXP（- （x−c）2k （x 、x′; l ）= σ2pexp（ − （x − x ）22 リットル2）k（バツ、バツ′;l）=σp2exp⁡（−（バツ−バツ）22l2）k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)ワット〜N（0 、σ2p私）w〜N（0、σp2私）w \sim \mathcal{N}(0,\sigma_p^2 I) したがって、カーネルのパラメーター化は、基底関数のパラメーター化に完全に変換できます。ϕc（x ; l ）= exp（ − （x − c ）22 リットル2）ϕc（バツ;l）=exp⁡（−（バツ−c）22l2）\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right) 微分可能カーネルのパラメーター化は、常に事前関数と基底関数のパラメーター化に変換できますか、または基底関数の数が構成に依存する微分可能カーネルがありますか？ k （x 、x′）k（バツ、バツ′）k(x,x')k （x 、x′）= ∑i = 1∞λ私ϕ私（x ）ϕ私（x′）k（バツ、バツ′）=∑私=1∞λ私ϕ私（バツ）ϕ私（バツ′）k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')ϕ私ϕ私\phi_iワット〜N（0 、diag （[ λ21、… ] ）））w〜N（0、診断（[λ12、…]））w …

14 gaussian-process  kernel-trick  basis-function 

Gaussian Process Regression（GPR）は、柔軟な非線形モデルのフィッティングにスプラインを使用する代わりになることを知っています。特にベイジアン回帰フレームワークにおいて、どちらの状況が他の状況よりも適しているかを知りたいと思います。 私はすでに見てきましたスプライン、平滑化スプライン、およびガウス過程エミュレータを使用することの利点/欠点は何？しかし、この投稿にはGPRに関するものは何もないようです。

14 regression  gaussian-process  splines  kriging 

Kullback-Leibler発散は2つの確率密度関数を比較するための指標ですが、2つのGPのXXXとを比較するためにどのような指標が使用されYYYますか？

14 gaussian-process  metric 

私が実装したガウスプロセス回帰アルゴリズムのハイパーパラメーターを調整しようとしています。式によって与えられる対数限界尤度を最大化したいだけです ここで、Kは、要素K_ {ij} = k（x_i、x_j）= b ^ {-1} \ exp（-\ frac {1} {2}（x_i-x_j）^ TM（x_i-x_j））+ a ^ {-1 } \ delta_ {ij}ここで、M = lI、a、b、lはハイパーパラメーターです。KKIJ=K（XI、XJ）=B-1つのEXP（-1ログ（y | X、θ）= − 12yTK− 1yy − 12ログ（det （K））− n2ログ（2 π）log⁡(y|X,θ)=−12yTKy−1y−12log⁡(det(K))−n2log⁡(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)KKK、M=LIA、BLK私はj= k （x私、xj）= b− 1exp（− 12（x私− xj）TM（x私− xj））+ a− 1δ私はjKij=k(xi,xj)=b−1exp⁡(−12(xi−xj)TM(xi−xj))+a−1δijK_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}M= l IM=lIM=lIa 、ba,ba,blll パラメータの対数周辺尤度の偏微分は、次の\ frac {\ log（\ …

13 regression  optimization  gaussian-process  hyperparameter 

GPMLを使用して多次元出力（おそらく相関）でガウスプロセス回帰を実行する方法はありますか？ でデモスクリプト 私は1Dの例を見つけることができます。 同様の質問 CV上の多次元入力のタックルケース。 私は彼らの本を読み、何かを見つけることができるかどうかを確認しました。で第九章この本（9.1節）の、彼らは、複数の出力のこのケースを言及しています。彼らはこれに対処するためのいくつかの方法について言及しました。1つは相関ノイズプロセスを使用し、2つはCokriging（事前相関）を使用します。 これらのアイデアをどのようにしてGPMLフレームワークに組み込むことができるのか、まだわかりません。 また、多次元出力をサポートする他のGPライブラリ/フレームワークはありますか？

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

ガウス過程の利点に関連してこの混乱があります。線形関数がデータをモデル化することを定義した単純な線形回帰と比較することを意味します。 ただし、ガウス過程では、関数の分布を定義しているため、関数が線形であることを明確に定義していません。関数の事前分布を定義できます。これは、関数の平滑度などの特徴を定義するガウス事前分布です。 したがって、モデルがどうあるべきかを明示的に定義する必要はありません。しかし、質問があります。限界尤度はありませんが、それを使用して、ガウス事前分布の共分散関数パラメーターを調整できます。したがって、これは本来あるべき機能のタイプを定義することに似ています。 まとめると、GPではハイパーパラメーターですが、パラメーターを定義する同じことになります。例えばこの論文で。彼らは、GPの平均関数は次のようなものであると定義しています。 m(x)=ax2+bx+ci.e. a second order polynomial.m(x)=ax2+bx+ci.e. a second order polynomial.m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.} したがって、モデル/関数が定義されていることは間違いありません。では、関数をLRのように線形に定義することの違いは何でしょうか。 GPを使用するメリットが何も得られなかった

13 gaussian-process