タグ付けされた質問 「gaussian-process」

私は最近、ゲルマンらのガウスプロセスに出くわしました。（2013）、そして私は時系列データの補完に使用するためのそれらの潜在的なアプリケーションについてもっと学びたいと思っています。対象となるデータは、フォトプレチスモグラム（PPG、人の指の先に取り付けられ、血液量の変化を測定する光学センサー）を使用して収集された個人の心拍数の単一の可変時系列です。 問題は、乱雑なデータの特定のセクションがあることです。これらのアーティファクトを処理するために既存の編集戦略が開発されましたが、それらは主にEKGセンサーから収集されたデータに基づいて最適化されました。PPGの低速波形は、取得したデータへのアプリケーションを時々少し不格好にします。 簡単に言うと、データの手動編集を改善するために作成したR Shiny Appからの適切な信号に囲まれた孤立した乱雑なセクションの例を次に示します。 薄い灰色の線は、元の信号を表します（2kHから100Hzにダウンサンプリング）。赤い点が付いた黒い実線は、時間の経過とともにプロットされた心拍間隔（連続する心拍の間の秒単位の時間）のプロットです。心拍間隔は、これらのデータの分析における主要な変数になります。 たとえば、個人の心拍間隔を使用して、心拍変動を評価できます。残念ながら、ほとんどの編集戦略はばらつきを抑える傾向があります。さらに、これらのアーティファクトが存在する可能性が高い場合（参加者の移動のため）、特定のタスクがあります。つまり、これらの乱雑なセクションに削除のマークを付けて、ランダムに欠落しているものとして扱うことができませんでした。 利点は、心拍数の特性について多くのことを知っていることです。たとえば、成人の安静時の範囲は通常60〜100 BPMです。また、心拍数は呼吸周期の関数として変化することもわかっています。呼吸周期は、それ自体、静止している可能性のある周波数の範囲がわかっています。最後に、心拍数の変動に影響を与える低周波サイクルがあることを知っています（心拍数に対する交感神経と副交感神経の影響の組み合わせによって影響を受けると考えられています）。 上記の「悪いデータ」の比較的小さなセクションは、実際には私の主要な関心事ではありません。私は、このような孤立したケースでうまく機能するように見える、ある程度正確な季節補間アプローチを開発しました。 悪い信号と良い信号が定期的に混在しているデータセクションを処理するときに、さらに問題が発生します。 私がゲルマンらから理解しているように。（2013）、ガウス過程に対していくつかの異なる共分散関数を指定することが可能であるようです。これらの共分散関数は、観測されたデータと、成人（または子供）の心拍出量と呼吸出力の測定値について、かなりよく知られている事前分布によって通知されます。 たとえば、いくつかの心拍数が観測されたとします（fHRfHRf_{HR}）、その平均心拍数に支配されるガウス過程を次のように指定することができます（これらのモデルを適用しようとするのは今回が初めてなので、ここで計算が終わっているかどうかをお知らせください）。 g1（T ）∽ G P（0 、k1）g1(t)∽GP(0,k1)g_1(t) \backsim GP(0, k_1) どこ k1（t 、t』）=σ21e x p （ −2 s iん2（π（t −t』）fHRHz）2l21）k1(t,t′)=σ12exp(−2sin2(π(t−t′)fHRHz)2l12)k_1(t, t') = \sigma_1^2exp\Bigg(-\frac{2sin^2(\frac{\pi(t-t')f_{HR}}{Hz})}{2l_1^2}\Bigg) ここで、はサンプリングレート、は時間のインデックスです。HzHzHzttt 例に基づくGelman et al。（2013）彼らのテキストで提供して、この共分散関数を修正して特定の期間にわたる変動を可能にすることは可能であるようです。私にとっては、呼吸サイクル内および上記の低周波心拍変動サイクル内での推定値の変動を考慮したいと思います。fHRfHRf_{HR} 私の理解する最初の目標を達成するには、呼吸速度（）のガウスプロセスと共分散関数、および共分散関数に両方のプロセスの機能を組み込んだガウスプロセスを指定する必要があります。fRfRf_R g2（T ）∽ G P（0 、k2）g2(t)∽GP(0,k2)g_2(t) \backsim GP(0, k_2) どこ k2（t 、t』）=σ22e …

7 time-series  gaussian-process  data-imputation  stan 

私は現在「機械学習のためのガウス過程」を研究しており、第3章では後p(y∗|X,y,x∗)p(y∗|X,y,x∗)p(y_*|X,\mathbf{y},\mathbf{x}_*) （eq。3.10）と潜在変数事後 p(f∗|X,y,x∗)p(f∗|X,y,x∗)p(f_*|X,\mathbf{y},\mathbf{x}_*)（eq。3.9）（3.9）のシグモイド尤度と（3.10）のシグモイド関数により、一般に解析的に解くことができません。方程式を調べなくても済むように、次のようにします。 p(y∗=+1|X,y,x∗)p(f∗|X,y,x∗)=∫σ(f∗)p(f∗|X,y,x∗)df∗=∫p(f∗|X,x∗,f)p(f|X,y)df(3.10)(3.9)p(y∗=+1|X,y,x∗)=∫σ(f∗)p(f∗|X,y,x∗)df∗(3.10)p(f∗|X,y,x∗)=∫p(f∗|X,x∗,f)p(f|X,y)df(3.9) \begin{align} p(y_*=+1|X,\mathbf{y},\mathbf{x}_*) &= \int\sigma(f_*)\,p(f_*|X,\mathbf{y},\mathbf{x}_*)\,df_*\quad\quad&\mbox{(3.10)} \\ p(f_*|X,\mathbf{y},\mathbf{x}_*) &= \int p(f_*|X,\mathbf{x}_*,\mathbf{f})\,p(\mathbf{f}|X,\mathbf{y})\,d\mathbf{f}&\mbox{(3.9)} \end{align} 私の主な質問は次のとおりです： fff ガウス過程としてモデル化された、ガウス関数の代わりにシグモイド関数を（どちらの方程式でも）使用する理由 p(y=+1|f(x))=g(f(x))≜exp{−f2(x)2}?p(y=+1|f(x))=g(f(x))≜exp⁡{−f2(x)2}? p(y=+1\,|\,f(\mathbf{x}))=g(f(\mathbf{x}))\triangleq\exp\left\{-\frac{f^2(\mathbf{x})}{2}\right\} \enspace? これは、両方の積分に対する閉じた形のソリューションにつながります。ガウス関数はシグモイド関数のように単調ではありませんが、GPは複数のターニングポイントを持つ関数を生成できるため、単調性は不要のようです。がトレーニングデータから離れているときに（3.10）がに確実に収束するようにするには、おそらく前のに平均を与えることで十分でしょう。： ここで、はのベクトルであり、はトレーニングサンプルの数です。 1212\frac{1}{2}x∗x∗\mathbf{x_*}p(f|X)p(f|X)p(\mathbf{f}|X)E[f|X]ω=ω1n=−2ln12−−−−−−√,E[f|X]=ω1nω=−2ln⁡12, \begin{align} \mathbb{E}[\mathbf{f}|X] &= \omega\mathbf{1}_n \\ \omega&=\sqrt{-2\ln\frac{1}{2}} \enspace, \end{align} 1n1n\mathbf{1}_nnnn 111nnng(ω)=12.g(ω)=12. g\left(\omega\right)=\frac{1}{2}\enspace. シグモイド尤度の動作とは対照的に、ガウス尤度は、負のラベルの付いた入力ポイントに対して大きな（正または負の）エントリを優先し、正のラベルの付いたポイント小さなエントリを優先します。ff\mathbf{f}ff\mathbf{f} ガウス関数は、シグモイドでは発生しない問題を引き起こしますか？シグモイドの代わりにガウス関数がバイナリGP分類で使用された論文はありますか？ 2017年5月25日更新 さらに考察すると、上記で提案されたゼロ以外の事前平均は、の符号がどうあるべきかについてのあいまいさを解決するのにも役立ちます（はどちらの符号も優先しません;）。以前の平均がゼロの場合、の平均がゼロであるため、このあいまいさを解決することは重要であると思われます事前確率と尤度はどちらも偶関数であるため、で定義された尤度の下でもゼロになります。すなわち： fffgggg(f(x))=g(−f(x))g(f(x))=g(−f(x))g(f(\mathbf{x}))=g(-f(\mathbf{x}))p(f|X)p(f|X)p(\mathbf{f}|X)p(f|X,y)p(f|X,y)p(\mathbf{f}|X,\mathbf{y})gggff\mathbf{f}p(y|f)p(yi|fi)∴E[f|X]=0→p(−f|X,y)=∏i=1np(yi|fi)={g(fi)1−g(fi),yi=+1,yi=−1=p(y|−f)p(−f|X))p(y|X)=p(y|f)p(f|X))p(y|X)=p(f|X,y).p(y|f)=∏i=1np(yi|fi)p(yi|fi)={g(fi),yi=+11−g(fi),yi=−1∴E[f|X]=0→p(−f|X,y)=p(y|−f)p(−f|X))p(y|X)=p(y|f)p(f|X))p(y|X)=p(f|X,y). \begin{align} p(\mathbf{y}|\mathbf{f})&=\prod_{i=1}^n p(\mathbf{y}_i|\mathbf{f}_i) \\ p(\mathbf{y}_i|\mathbf{f}_i) &= \begin{cases} g(\mathbf{f}_i) & ,\;\mathbf{y}_i=+1 \\ …

7 machine-learning  classification  bayesian  gaussian-process 

トピックは同じですが、これは他の質問とは直接関係ありません。それはおそらく非常に些細な質問でもありますが、私と一緒にください:)ガウスプロセス回帰の使用について同僚と話していたところ、彼は2つの主張に同意しませんでした： GPRは、予測子が正規分布している場合の応答のモデル化にのみ使用できます。 GPRモデルの応答は常に正規分布です。 最初のアサーションは偽（実際、GPRは予測子の結合分布についてまったく仮定を立てていません）であると思いますが、2番目のアサーションは、ハイパーパラメーターが固定されている場合にのみ真です。ただし、完全なベイズアプローチに従い、ハイパーパラメーターの事後確率分布を導出した場合、事後予測分布は正規分布ではなくなります。これは、ハイパーパラメーターと観測を条件とする応答の分布のみです。正規分布。数式では： y=f(x)+ϵ,ϵ∼N(0,σ2noise)y=f(x)+ϵ,ϵ∼N(0,σnoise2)y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise}) と前にGPを想定 f(x)f(x)f(\mathbf{x})。しましょう{(x1,y1,)…,(xd,yd,)}{(x1,y1,)…,(xd,yd,)}\{(\mathbf{x_1},y_1,)\dots,(\mathbf{x_d},y_d,)\} 観測値のセットである場合、ハイパーパラメーターの事後確率分布は p(θ|y)∝p(y|θ)p(θ)p(θ|y)∝p(y|θ)p(θ)p(\boldsymbol{\theta}|\mathbf{y})\propto p(\mathbf{y}|\boldsymbol{\theta})p(\boldsymbol{\theta}) ここで、ハイパーパラメーターと観測値を条件とする新しい応答ベクトルの分布、つまり、通常は配布されます（そうですか？）ただし、事後予測分布はy∗y∗\mathbf{y^*}p(y∗|θ,y)p(y∗|θ,y)p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y}) p(y∗|y)=∫p(y∗,θ|y)p(θ)dθ=∫p(y∗|θ,y)p(θ|y)p(θ)dθp(y∗|y)=∫p(y∗,θ|y)p(θ)dθ=∫p(y∗|θ,y)p(θ|y)p(θ)dθp(\mathbf{y^*}|\mathbf{y})=\int{p(\mathbf{y^*},\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta}=\int{p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})p(\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta} 積分では、項が（多変量）正規確率密度関数です。とは、当面の統計的問題をモデル化するのに適切と考えるあらゆる分布を持っているかもしれません。これら3つの分布の積の積分wboldが正規分布していると考える理由はありません。したがって、ベクトルが正規分布しているとは言えません。これは正しいです？p(y∗|θ,y)p(y∗|θ,y)p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})p(y|θ)p(y|θ)p(\mathbf{y}|\boldsymbol{\theta})p(θ)p(θ)p(\boldsymbol{\theta})θθ\boldsymbol{\theta}y∗|yy∗|y\mathbf{y^*}|\mathbf{y}

7 regression  bayesian  gaussian-process 

トレーニングセットのサイズがバニラGPで禁止され始めたが、それでもそれほど大きくない場合、予測の不確実性を伴うノンパラメトリック非線形回帰のためのガウスプロセス（GP）の最新の代替手段は何ですか？ 私の問題の詳細は： 入力空間は低次元です（、）X⊆RdX⊆Rd\mathcal{X} \subseteq \mathbb{R}^d2≤d≤202≤d≤202\le d \le 20 出力は実数値です（）Y⊆RY⊆R\mathcal{Y} \subseteq \mathbb{R} トレーニングポイントは、標準のGP（近似なし）で処理できるものよりも1桁程度大きい103≲N≲104103≲N≲10410^3 \lesssim N \lesssim 10^4 近似する関数f:X→Yf:X→Yf: \mathcal{X} \rightarrow \mathcal{Y}はブラックボックスです。連続性と滑らかさの相対的な程度を仮定できます（たとえば、GPには\ nu = \ frac {5} {2}の Matérn共分散行列を使用しますν=52ν=52\nu = \frac{5}{2}） クエリされた各ポイントについて、近似は予測の平均と分散（または不確実性の類似の測定）を返す必要があります 1つまたはいくつかの新しいトレーニングポイントがトレーニングセットに追加されたときに、メソッドが比較的高速（数秒程度）で再トレーニング可能である必要があります どんな提案も歓迎します（メソッドへのポインタ/言及と、それがうまくいくと思う理由）。ありがとうございました！

7 regression  machine-learning  bayesian  nonparametric  gaussian-process