ガウス過程の予測分布に関連する混乱

8

ガウス過程の予測分布に関連するこの混乱があります。この紙を読んでいた

ここに画像の説明を入力してください

統合がどのようにその結果をもたらしたかはわかりませんでした。P（u * | x *、u）とは何ですか。また、事後分布の共分散が $\sigma^2(\sigma^2I+K)^{-1}K$

regression normal-distribution gaussian-process

+1、私はほとんど同じ問題を抱えています。ウェブを検索した後、もっと混乱していることがわかりました。Rasmussenによるこの講義ノート、videolectures.net / site / normal_dl / tag = 12546 /…を参照してください。15ページに注意してください

— アボカド

4

$P(u*|x*,u) ~ N(u(x*)$ 、）、定義から直接。 $\sigma^2$ $u*$

2つのガウスpdfの統合が正規化されていることに注意してください。その事実から示すことができる

\int_{- \infty}^{\infty} P （ {あなた}^{*} | {バツ}^{*} 、 あなた ） d {あなた}^{*} = \int_{- \infty}^{\infty} \int_{あなた} P （ {あなた}^{*} | {バツ}^{*} 、 あなた ） P （ あなた | s ） d あなた d {あなた}^{*} = \int_{あなた} P （ あなた | s ） \int_{- \infty}^{\infty} P （ {あなた}^{*} | {バツ}^{*} 、 あなた ） d {あなた}^{*} d あなた = \int_{あなた} P （ あなた | s ） \int_{- \infty}^{\infty} N （ {あなた}^{*} - あなた （ バツ * ）; 0 、 σ^{2} ） d {あなた}^{*} d あなた = \int_{あなた} P （ あなた | s ） d あなた \int_{- \infty}^{\infty} N （ {あなた}^{*}; 0 、 σ^{2} ） d {あなた}^{*} = 1

$\int_{-\infty}^{\infty}P(u^*|x^*, u)du^* =\int_{-\infty}^{\infty}\int_{u}P(u^*|x^*, u)P(u|s)dudu^* =\int_{u}P(u|s)\int_{-\infty}^{\infty}P(u^*|x^*, u)du^*du =\int_{u}P(u|s)\int_{-\infty}^{\infty}N(u^*-u(x*); 0, \sigma^2)du^*du =\int_{u}P(u|s)du\int_{-\infty}^{\infty}N(u^*; 0, \sigma^2)du^* =1$

正規化が邪魔にならないように、

$\int_{u}P(u^*|x^*, u)P(u|s)du$ は、次のヒントによって統合されています：

2つの正規分布のpdfを方程式に代入し、すでに正規化を示したように、は独立した項を削除します。 $u$
完全な平方トリックを使用して多変量指数を統合します。つまり、残りの指数項を使用して多変量正規確率密度関数を作成します。このyouTubeビデオを参照してください。
結局、あなたはに関して指数関数を残されます、これは再び通常のpdfからの要因であることが観察できます。繰り返しになりますが、正規化の証明により、最終的なフォームが実際に通常のPDFであるという確信が得られます。PDFは元の投稿で指定されたものと同じです。 $u^*$

— ルオハン・ワン
ソース

1

これは実際に質問に答えるので、これは受け入れられる答えになるはずです。

— Michael

2

ガウス過程の条件付き分布の方程式の詳細な導出は、本[Rasmussen2005]の第2章と付録Aにあります。

ガウス恒等式（A.6）と行列プロパティ（A.11）に基づく（式2.23、2.24）以上を見てください。

[Rasmussen2005] CE RasmussenおよびC. Williams。機械学習のためのガウス過程。MIT Press、2005年。

— エミール
ソース

私はOPと同じ問題を抱えており、GPMLブックで詳細な派生物を見つけられませんでした。そして、上記のコメントに投稿した講義ノートを読んだ後、さらに混乱しました。そのノートでは、ラスムッセンによって与えられる事後のは、OPの式のそれとは異なります。私は自分で導出を行い、事後が式と同じであることに同意します。この時点では、ラスムッセンの講義ノートは間違っているかもしれません。何かを見落としたり、間違えたりした場合は、修正してください。そして、導出について詳しく説明していただければ幸いです。

p (u | S)

$p(u|S)$

(5)

$(5)$

p (u | S)

$p(u|S)$

(5)

$(5)$

— アボカド2014年

これは質問には答えません。

— Nathan Explosion

@avocado私はこれが何年も遅れていることを理解していますが、これがまだあなた（または他の誰か）を助けることができる場合は、が正確に等しいことに注意してください、ならびに。したがって、事後はOPの方程式（5）と同じであり、ラスムッセンの講義ノートで与えられているように、それらは単に異なって表現されています。

K - K (K + σ^{2} I)^{- 1} K

$K - K(K + \sigma^2 I)^{-1}K$

σ^{2} (K + σ^{2} I)^{- 1} K

$\sigma^2 (K + \sigma^2 I)^{-1} K$

σ^{2} I - σ^{2} I (K + σ^{2} I)^{- 1} σ^{2} I

$\sigma^2 I - \sigma^2 I (K + \sigma^2 I)^{-1} \sigma^2 I$

— ダックマイヤー