タグ付けされた質問 「gaussian-process」

ガウス過程は、正規化された確率変数で実現される確率過程を指します。これらの確率変数の有限コレクションには多変量正規分布があるという追加のプロパティがあります。ガウス過程の機構は、回帰と分類の問題に使用できます。

5
なぜガウス過程の平均関数は面白くないのですか?
GPについて読み始めたばかりで、平均関数と共分散関数またはカーネルによって特徴付けられる正規のガウス分布に類似しています。私は話をしていましたが、スピーカーは、平均関数は通常非常に面白くなく、すべての推論の努力は正しい共分散関数の推定に費やされていると言いました。 なぜそうなるべきかを誰かが私に説明できますか?

3
ガウスプロセスモデルがノンパラメトリックと呼ばれるのはなぜですか?
私は少し混乱しています。ガウス過程がノンパラメトリックモデルと呼ばれるのはなぜですか? 関数値またはそのサブセットは、カーネル関数として与えられた平均0と共分散関数を持つガウス事前分布を持っていると仮定しています。これらのカーネル関数自体には、いくつかのパラメーター(ハイパーパラメーターなど)があります。 それでは、なぜそれらはノンパラメトリックモデルと呼ばれているのでしょうか?

2
ベイジアン手法が過剰適合しないのは本当ですか?
ベイジアン手法が過剰適合しないのは本当ですか?(この主張をするいくつかの論文やチュートリアルを見ました) たとえば、ガウス過程をMNIST(手書き数字分類)に適用し、単一のサンプルのみを表示する場合、その単一のサンプルとは異なる入力であっても、差は小さいものの前の分布に戻りますか?

1
ウェーブレット領域のガウス過程:共分散とは?
私は、Maraunら、「ウェーブレット領域の非定常ガウス過程:合成、推定、および重要なテスト」(2007)を読みました。これは、ウェーブレット領域の乗数によって指定できる非定常GPのクラスを定義します。そのようなGPの実現は次 ここではホワイトノイズ、はウェーブレットに関する連続ウェーブレット変換です。、はスケールと時間の乗数(フーリエ係数のようなもの)であり、は再構成ウェーブレット逆ウェーブレット変換です。η (t )W g g m (b 、a )a b M h hs (t )= Mhm (b 、a )Wgη(t )、s(t)=Mhm(b,a)Wgη(t), s(t) = M_h m(b,a) W_g \eta(t)\, , η(t )η(t)\eta(t)WgWgW_ggggm (b 、a )m(b,a)m(b,a)aaabbbMhMhM_hhhh この論文の重要な結果の1つは、乗数変化がゆっくりである場合、実現自体はと実際の選択に「わずかに」依存するということです。したがって、はプロセスを指定します。彼らは、実現に基づいてウェーブレット乗数を推測するのに役立ついくつかの重要なテストを作成し続けます。g h m (b 、a )m (b 、a )m(b,a)m(b,a)ggghhhm (b 、a )m(b,a)m(b,a) 2つの質問: 1.ある標準GP尤度をどのように評価しますか?p (D )= N(0 …

2
マテルン共分散関数の理論的根拠は何ですか?
マテルン共分散関数は、一般にガウス過程のカーネル関数として使用されます。このように定義されます Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν(2ν−−√dρ)Cν(d)=σ221−νΓ(ν)(2νdρ)νKν(2νdρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} ここで、は距離関数(ユークリッド距離など)、はガンマ関数、は第2種の修正ベッセル関数、およびは正のパラメーターです。は、実際にはまたはに選ばれた多くの時間です。dddΓΓ\GammaKνKνK_\nuρρ\rhoνν\nuνν\nu3232\frac{3}{2}5252\frac{5}{2} 多くの場合、このカーネルは「滑らかではない」ため標準のガウスカーネルよりもうまく機能しますが、それ以外に、このカーネルを好む他の理由はありますか?それがどのように振る舞うかについてのいくつかの幾何学的な直観、または一見不可解な式の説明は高く評価されるでしょう。

1
ランダムキッチンシンクはどのように機能しますか?
昨年のNIPS 2017では、アリラヒミとベンレヒトが論文「大規模カーネルマシンのランダム機能」で時間賞を受賞し、ランダムキッチンシンクアルゴリズムとして体系化されました。彼らの論文を公表する一環として、彼らは彼らのモデルが5行のmatlabで実装できることを示しました。 % Approximates Gaussian Process regression % with Gaussian kernel of variance gamma^2 % lambda: regularization parameter % dataset: X is dxN, y is 1xN % test: xtest is dx1 % D: dimensionality of random feature % training w = randn(D,d); b = 2 * pi * rand(D, 1); …

3
多変量の自然な3次スプラインの近似
注: 1か月後に正しい答えが得られないため、SOに再投稿しました バックグラウンド モデルがあり、Y = f (X)fffY=f(X)Y=f(X)Y=f(\textbf{X}) n × m m Y n × 1XX\textbf{X}はパラメーターからのサンプルの行列で、はモデル出力のベクトルです。n×mn×mn \times mmmmYYYn×1n×1n \times 1 f (X 、Y )Yfffは計算量が多いためポイントを通る多変量3次スプラインを使用してを近似し、より多くのポイントでを評価できるようにします。fff(X、Y)(バツ、Y)(X,Y)YYY 質問 XとYの間の任意の関係を計算するR関数はありますか? 具体的にはsplinefun、単変量の場合にスプライン関数を生成する関数の多変量バージョンを探しています。 たとえば、これはsplinefun単変量の場合にどのように機能するかです x <- 1:10 y <- runif(10) foo <- splinefun(x,y) foo(1:10) #returns y, as example all(y == foo(1:10)) ## TRUE 私が試したこと mdaパッケージを確認しましたが、次のように動作するはずです。 library(mda) x …

1
ガウス過程:関数近似特性
私はガウス過程について学んでいますが、聞いたことがあります。コメントと回答を本当に感謝します。 データのセットについて、ガウス過程関数の近似がデータポイントでゼロまたは無視できるフィッティングエラーを与えるのは本当ですか?別の場所で、Gaussian Processはノイズの多いデータに特に適していると聞きました。これは、観測されたデータの低フィッティングエラーと矛盾しているようです。 さらに、データポイントから離れると、不確実性が大きくなります(共分散が大きくなります)。その場合、ローカルモデル(RBFなど)のように動作しますか? 最後に、普遍的な近似特性はありますか?

2
関数の分布とは何ですか?
CE RasmussenとCKI Williamsによる教科書の機械学習のためのガウス過程を読んでいますが、関数上の分布が何を意味するのか理解するのに苦労しています。教科書では、関数を非常に長いベクトルと考えるべきであるという例が示されています(実際、無限に長いはずですか?)。したがって、関数全体の分布は、そのようなベクトル値の「上」に描かれた確率分布であると思います。それでは、関数がこの特定の値を取る可能性はありますか?それとも、関数が特定の範囲内の値をとる確率でしょうか?または、関数の分布は関数全体に割り当てられた確率ですか? 教科書からの引用: 第1章:はじめに、2ページ ガウス過程は、ガウス確率分布の一般化です。確率分布はスカラーまたはベクトル(多変量分布の場合)であるランダム変数を記述しますが、確率的プロセスは関数のプロパティを管理します。数学的な洗練はさておき、関数を非常に長いベクトルと大まかに考えることができます。ベクトルの各エントリは特定の入力xで関数値f(x)を指定します。この考えは少し素朴ではありますが、驚くべきことに私たちが必要とするものに近いことがわかりました。実際、これらの無限次元オブジェクトをどのように計算的に処理するかという問題は、想像できる限り最も快適な解像度を持っています。有限数の点で関数のプロパティのみを要求する場合、 第2章:回帰、7ページ ガウス過程(GP)回帰モデルを解釈する方法はいくつかあります。ガウス過程は、関数の分布を定義し、関数の空間である関数空間ビューで直接行われる推論と考えることができます。 最初の質問から: この概念図を作成して、自分でこれを視覚化しようとしました。私が自分のために作ったそのような説明が正しいかどうかはわかりません。 更新後: Gijsの回答の後、私は写真を更新して、概念的には次のようにしました。

1
無限次元基底関数ビューによるガウス過程回帰の理解
ガウス過程回帰は、(おそらく)無限量の基底関数を持つベイズ線形回帰に対応する(GPR)とよく言われます。私は現在、GPRを使用してどのようなモデルを表現できるかについての直感を得るために、これを詳細に理解しようとしています。 これはGPRを理解しようとする良いアプローチだと思いますか? ブック内の機械学習のためのガウスプロセスラスムッセンとウィリアムズショーはガウスプロセスのセットがパラメータ化指数乗にカーネルによって記載されたもの等価前信念とベイズ回帰として説明することができるW〜N(0、σ 2 のp I)の重みに、フォームの基底関数の無限量φC(X;L)=EXP(- (x−c)2k (x 、x′; l )= σ2pexp( − (x − x )22 リットル2)k(バツ、バツ′;l)=σp2exp⁡(−(バツ−バツ)22l2)k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)ワット〜N(0 、σ2p私)w〜N(0、σp2私)w \sim \mathcal{N}(0,\sigma_p^2 I) したがって、カーネルのパラメーター化は、基底関数のパラメーター化に完全に変換できます。ϕc(x ; l )= exp( − (x − c )22 リットル2)ϕc(バツ;l)=exp⁡(−(バツ−c)22l2)\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right) 微分可能カーネルのパラメーター化は、常に事前関数と基底関数のパラメーター化に変換できますか、または基底関数の数が構成に依存する微分可能カーネルがありますか? k (x 、x′)k(バツ、バツ′)k(x,x')k (x 、x′)= ∑i = 1∞λ私ϕ私(x )ϕ私(x′)k(バツ、バツ′)=∑私=1∞λ私ϕ私(バツ)ϕ私(バツ′)k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')ϕ私ϕ私\phi_iワット〜N(0 、diag ([ λ21、… ] )))w〜N(0、診断([λ12、…]))w …

3
スプラインとガウス過程回帰
Gaussian Process Regression(GPR)は、柔軟な非線形モデルのフィッティングにスプラインを使用する代わりになることを知っています。特にベイジアン回帰フレームワークにおいて、どちらの状況が他の状況よりも適しているかを知りたいと思います。 私はすでに見てきましたスプライン、平滑化スプライン、およびガウス過程エミュレータを使用することの利点/欠点は何?しかし、この投稿にはGPRに関するものは何もないようです。


1
Gaussian Process Regressionのハイパーパラメーター調整
私が実装したガウスプロセス回帰アルゴリズムのハイパーパラメーターを調整しようとしています。式によって与えられる対数限界尤度を最大化したいだけです ここで、Kは、要素K_ {ij} = k(x_i、x_j)= b ^ {-1} \ exp(-\ frac {1} {2}(x_i-x_j)^ TM(x_i-x_j))+ a ^ {-1 } \ delta_ {ij}ここで、M = lI、a、b、lはハイパーパラメーターです。KKIJ=K(XI、XJ)=B-1つのEXP(-1ログ(y | X、θ)= − 12yTK− 1yy − 12ログ(det (K))− n2ログ(2 π)log⁡(y|X,θ)=−12yTKy−1y−12log⁡(det(K))−n2log⁡(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)KKK、M=LIA、BLK私はj= k (x私、xj)= b− 1exp(− 12(x私− xj)TM(x私− xj))+ a− 1δ私はjKij=k(xi,xj)=b−1exp⁡(−12(xi−xj)TM(xi−xj))+a−1δijK_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}M= l IM=lIM=lIa 、ba,ba,blll パラメータの対数周辺尤度の偏微分は、次の\ frac {\ log(\ …

4
Gaussian Processes:GPMLを多次元出力に使用する方法
GPMLを使用して多次元出力(おそらく相関)でガウスプロセス回帰を実行する方法はありますか? でデモスクリプト 私は1Dの例を見つけることができます。 同様の質問 CV上の多次元入力のタックルケース。 私は彼らの本を読み、何かを見つけることができるかどうかを確認しました。で第九章この本(9.1節)の、彼らは、複数の出力のこのケースを言及しています。彼らはこれに対処するためのいくつかの方法について言及しました。1つは相関ノイズプロセスを使用し、2つはCokriging(事前相関)を使用します。 これらのアイデアをどのようにしてGPMLフレームワークに組み込むことができるのか、まだわかりません。 また、多次元出力をサポートする他のGPライブラリ/フレームワークはありますか?

2
ガウスプロセスの利点
ガウス過程の利点に関連してこの混乱があります。線形関数がデータをモデル化することを定義した単純な線形回帰と比較することを意味します。 ただし、ガウス過程では、関数の分布を定義しているため、関数が線形であることを明確に定義していません。関数の事前分布を定義できます。これは、関数の平滑度などの特徴を定義するガウス事前分布です。 したがって、モデルがどうあるべきかを明示的に定義する必要はありません。しかし、質問があります。限界尤度はありませんが、それを使用して、ガウス事前分布の共分散関数パラメーターを調整できます。したがって、これは本来あるべき機能のタイプを定義することに似ています。 まとめると、GPではハイパーパラメーターですが、パラメーターを定義する同じことになります。例えばこの論文で。彼らは、GPの平均関数は次のようなものであると定義しています。 m(x)=ax2+bx+ci.e. a second order polynomial.m(x)=ax2+bx+ci.e. a second order polynomial.m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.} したがって、モデル/関数が定義されていることは間違いありません。では、関数をLRのように線形に定義することの違いは何でしょうか。 GPを使用するメリットが何も得られなかった

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.