ガウス過程の事後のシミュレーション

初めて（不正確/間違い）ガウシアンプロセスを確認しました。具体的には、ナンドデフレイタスによるこのビデオを見ました。メモはここからオンラインで入手できます。

ある時点で、ガウスカーネル（軸の距離の2乗の指数）に基づいて共分散行列を作成することにより生成された多変量法線から、ランダムなサンプルを抽出します。これらのランダムなサンプルは、データが利用可能になると分散が少なくなる以前の滑らかなプロットを形成します。最終的に、目的は、共分散行列を変更して予測し、対象の点での条件付きガウス分布を取得することです。 $10$ $x$

コード全体は、Katherine Baileyによる優れた要約でここから入手できます。これは、Nando de Freitasによるコードリポジトリのクレジットです。便宜上、ここにPythonコードを掲載しました。

（上記のではなく）事前関数から始まり、「調整パラメーター」を導入します。 $3$ $10$

プロットを含めて、コードをPythonおよび[R]に翻訳しました。

以下は、[R]の最初のコードチャンクと、テストセットの値の近接性に基づいてガウスカーネルを介して生成された3つのランダム曲線の結果のプロットです。 $x$

Rコードの2番目のチャンクはより毛羽立ち、トレーニングデータの4つのポイントをシミュレートすることから始まります。これは、これらのトレーニングデータポイントが存在する領域の周りの可能な（前の）曲線間の広がりを絞り込むのに役立ちます。これらのデータポイントの値のシミュレーションは、関数として行われます。「点の周りの曲線の引き締め」を見ることができます： $y$ $\text{sin}()$

Rコードの3番目のチャンクは、値（以下の計算を参照）に対応する平均推定値の曲線（回帰曲線に相当）とそれらの信頼区間のプロットを扱います。 $50$ ${\bf\mu}$

質問： 前のGPから後のGPに至るまでの操作について教えてください。

具体的には、平均とsdを取得するために、Rコードのこの部分（2番目のチャンク内）を理解したいと思います。

# Apply the kernel function to our training points (5 points):

K_train = kernel(Xtrain, Xtrain, param)                          #[5 x 5] matrix

Ch_train = chol(K_train + 0.00005 * diag(length(Xtrain)))        #[5 x 5] matrix

# Compute the mean at our test points:

K_trte = kernel(Xtrain, Xtest, param)                            #[5 x 50] matrix
core = solve(Ch_train) %*% K_trte                                #[5 x 50] matrix
temp = solve(Ch_train) %*% ytrain                                #[5 x 1] matrix
mu = t(core) %*% temp                                            #[50 x 1] matrix

2つのカーネル（電車の1（あります）、V。電車（）、、のは、それを呼びましょうそのコレスキー（とは、）、、これ以降すべてのコレスキーのオレンジ色、およびトレインの2番目のもの（）v test（）、それをと呼び、推定平均を生成しますのためのの動作設定、テストの点は以下のとおりです。 $\bf a$ $\bf a$ K_train $\bf \Sigma_{aa}$ Ch_train $\bf \color{orange}{L_{aa}}$ $\bf a$ $\bf e$ K_trte $\bf \Sigma_{ae}$ $\hat \mu$ $50$

\begin{aligned} (Eq.1) & \hat{μ} & = {[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} \underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 1]}{y_{t r}} \\ dimensions = [50 \times 1] \end{aligned}

$\begin{align} {\bf \hat \mu}&={\bf \left [ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right ]^T \, \underset{\color{blue}{[5 \times 5]}}{\color{orange}{L_{aa}}^{-1}} \, \underset{\color{blue}{[5 \times 1]}}{y_{tr}}}\bf\tag{Eq.1}\\ &\text{dimensions}=\color{red}{\left[50 \times 1\right]} \end{align}$

# Compute the standard deviation:

tempor = colSums(core^2)                                          #[50 x 1] matrix

# Notice that all.equal(diag(t(core) %*% core), colSums(core^2)) TRUE

s2 = diag(K_test) - tempor                                        #[50 x 1] matrix
stdv = sqrt(s2)                                                   #[50 x 1] matrix

\begin{aligned} (Eq.2) & \hat{var} & = diag (Σ_{e e}) - diag [{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]] \\ = d [\begin{matrix} 1 & \dots \\ 1 \\ ⋱ \\ \dots & 1 \\ \dots & 1 \end{matrix}] - d [{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]] \\ dimensions = [50 \times 1] \end{aligned}

$\begin{align} {\bf \hat{\text{var}}}&=\text{diag}\left({\bf \Sigma_{ee}}\right)-\text{diag} \left[\bf \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right] \bf \tag{ Eq.2} \\ &=\text{d}\small{\begin{bmatrix}1&&\dots&\\&1\\&&\ddots\\&&\dots&1&\\ &&&\dots&1\end{bmatrix}}-\bf \text{d} \left[ \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right]\\ &\text{dimensions} = \color{red}{\left[50 \times 1\right]} \end{align}$

これはどのように作動しますか？

また、上記の「GP事後からの3つのサンプル」プロットの色線（事後GP）の計算も不明確です。テストセットとトレーニングセットのコレスキーが集まって多変量正規値を生成し、最終的に： $\hat \mu$

Ch_post_gener = chol(K_test + 1e-6 * diag(n) - (t(core) %*% core))
m_prime = matrix(rnorm(n * 3), ncol = 3)
sam = Ch_post_gener %*% m_prime
f_post = as.vector(mu) + sam

\begin{aligned} (Eq.3) & f_{post} & = \hat{μ} + [\underset{[50 \times 50]}{L_{e e}} - [{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]]] [\underset{[50 \times 3]}{N (0, 1)}] \\ dimensions = [50 \times 3] \end{aligned}

$\begin{align} f_{\text{post}}&=\bf \hat \mu +\small \left[ \underset{\color{blue}{[50 \times 50]}} {\color{orange}{L_{ee}}}\, \, \, - \left[ \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right] \right] \left[\underset{\color{green}{[50 \times 3]}}{\mathscr N(0,1)}\right]\tag{Eq.3} \\ &\text{dimensions}= \color{red}{\left[50 \times 3\right]} \end{align}$

— アントニ・パレッラダ
ソース

最後のプロットでは、信頼区間が既知の点で「ピンチ」してはいけませんか？

— GeoMatt22

@ GeoMatt22彼らはそうだと思いませんか？

— Antoni Parellada 2016

テストセット与えられた場合、期待値は、トレーニングセットのデータポイント与えられたときに、これらの新しいデータポイントの関数の値の条件付き分布を考慮して計算されます。ビデオで公開されているアイデアは、次の形式のと共同分布（講義ではアスタリスク示される）を持つことです。 $e$ $a$ $a$ $e$ $*$

[\begin{matrix} a \\ e \end{matrix}] \sim N ([\begin{matrix} μ_{a} \\ μ_{e} \end{matrix}], [\begin{matrix} Σ_{a a} & Σ_{a e} \\ {Σ_{a e}}^{T} & Σ_{e e} \end{matrix}])

${\bf\begin{bmatrix} a\\ \bf e\end{bmatrix}}\sim \mathscr N\left( \begin{bmatrix}\bf \mu_a\\\mu_e \end{bmatrix}\,,\begin{bmatrix}\bf \Sigma_{aa}&\bf \Sigma_{ae} \\ {\bf \Sigma_{ae}}^T & \bf \Sigma_{ee}\end{bmatrix}\right)$ 。

多変量ガウス分布の条件付きの平均は。今、上記共分散のブロック行列の最初の行であることを考慮するとのためのが、唯一ののための、転置意志行列を調和させるために必要です： $E({\bf x}_1 | {\bf x}_2)= {\boldsymbol \mu}_1 + \Sigma_{12} \Sigma^{-1}_{22} ({\bf x}_2- {\boldsymbol \mu}_2)$ $[50 \times 50]$ $\bf \Sigma_{aa}$ $[50 \times 5]$ $\bf \Sigma_{ae}$

E (e | a) = μ_{e} + {Σ_{a e}}^{T} {Σ_{a a}}^{- 1} (y - μ_{a})

$E ({\bf e\vert a}) = {\bf \mu_e} + {\bf \Sigma_{ae}}^T {\bf \Sigma_{aa}}^{-1}\,\left ({\bf y}-{\bf \mu_{a}}\right)$ モデルはで計画されているため、式は：

μ_{a} = μ_{e} = 0

${\bf \mu_{a}} = {\bf \mu_{e}}=0$

E (e | a) = {Σ_{a e}}^{T} {Σ_{a a}}^{- 1} y_{t r}

$E ({\bf e\vert a}) = {\bf \Sigma_{ae}}^T {\bf \Sigma_{aa}}^{-1}\,{\bf y_{tr}}$

コレスキー分解を入力します（これもOPのようにオレンジでコーディングします）。

\begin{aligned} E (e | a) & = {Σ_{a e}}^{T} \underset{< - - α - - >}{{Σ_{a a}}^{- 1} y_{t r}} \\ = {Σ_{a e}}^{T} {(L_{a a} L_{a a}^{T})}^{- 1} y_{t r} \\ = {Σ_{a e}}^{T} L_{a a}^{- T} L_{a a}^{- 1} y_{t r} \\ (*) & = {Σ_{a e}}^{T} L_{a a}^{- T} \underset{< - m - >}{L_{a a}^{- 1} y_{t r}} \end{aligned}

$\begin{align*} E ({\bf e\vert a}) &= {\bf \Sigma_{ae}}^T\,\, \,\underset{\color{gray}{<--\alpha-->}}{{\bf \Sigma_{aa}}^{-1}\,{\bf y_{tr}}}\\ &={\bf \Sigma_{ae}}^T {\bf \color{orange}{(L_{aa}L_{aa}^T)}}^{-1}\,{\bf y_{tr}}\\ &= {\bf \Sigma_{ae}}^T {\bf \color{orange}{L_{aa}^{-T}L_{aa}^{-1}}}\,{\bf y_{tr}}\\ &= {\bf \Sigma_{ae}}^T {\bf \color{orange}{L_{aa}^{-T}}\,\,\,\,\,\, \underset {\color{gray}{ <-m->}}{\color{orange}{L_{aa}^{-1}}{\bf y_{tr}}}} \tag {*} \end{align*}$

もし、その後であり、解決できる線形システムになり、得られます。これが元のプレゼンテーションの重要なスライドです。 $\bf m =\color{orange}{{\bf L_{aa}}^{-1}}\,{\bf y_{tr}}$ $\color{orange}{\bf L_{aa}} \bf m= {\bf y_{tr}}$ $\bf m$

以降、式（*）は、OPの式（1）と同等です。 $\bf B^T A^T = (A\,B)^T$

\begin{aligned} \hat{μ} & = {[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} \underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 1]}{y_{t r}} \\ = (Σ_{a e}^{T} L_{a a}^{- T}) (L_{a a}^{- 1} y_{t r}) \\ dimensions = [50 \times 1] \end{aligned}

$\begin{align} {\bf \hat \mu}&={\bf \left [ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right ]^T \, \underset{\color{blue}{[5 \times 5]}}{\color{orange}{L_{aa}}^{-1}} \, \underset{\color{blue}{[5 \times 1]}}{y_{tr}}}\\ &=\bf \left( \Sigma_{ae}^T \color{orange}{ L_{aa}^{-T}} \right) \left(\color{orange}{ L_{aa}^{-1}}\, y_{tr} \right)\\ &\text{dimensions} = \color{red}{\left[50 \times 1\right]} \end{align}$

とすれば

{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} = {\underset{[50 \times 5]}{Σ_{a e}}}^{T} \underset{[5 \times 5]}{{L_{a a}}^{- 1 T}}

$\bf \left [ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right ]^T = \underset{\color{blue}{[50 \times 5]}}{\Sigma_{ae}}^T \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1T}}\, \, \,$

多変量ガウスの条件付き分散の式から始めて、同様の推論を分散に適用します。

v a r (x_{1} | x_{2}) = Σ_{11} - Σ_{12} Σ_{22}^{- 1} Σ_{21}

${\rm var}({\bf x}_1|{\bf x}_2)= \Sigma_{11} -\Sigma_{12}\Sigma^{-1}_{22}\Sigma_{21}$

私たちの場合は次のようになります：

\begin{aligned} {var}_{{\hat{μ}}_{e}} & = Σ_{e e} - Σ_{a e}^{T} Σ_{a a}^{- 1} Σ_{a e} \\ = Σ_{e e} - Σ_{a e}^{T} {[L_{a a} L_{a a}^{T}]}^{- 1} Σ_{a e} \\ = Σ_{e e} - Σ_{a e}^{T} {[L_{a a}^{- 1}]}^{T} L_{a a}^{- 1} Σ_{a e} \\ = Σ_{e e} - {[L_{a a}^{- 1} Σ_{a e}]}^{T} L_{a a}^{- 1} Σ_{a e} \end{aligned}

$\begin{align*} \bf \text{var}_{\hat\mu_{\bf e}} &= \bf \Sigma_{ee} - \Sigma_{ae}^T\Sigma_{aa}^{-1}\Sigma_{ae}\\ &= \bf \Sigma_{ee} - \Sigma_{ae}^T \left[ L_{aa}L_{aa}^T\right]^{-1}\Sigma_{ae}\\ &= \bf \Sigma_{ee} - \Sigma_{ae}^T \left[ L_{aa}^{-1}\right]^TL_{aa}^{-1}\Sigma_{ae}\\ &= \bf \Sigma_{ee} - \left[ L_{aa}^{-1} \Sigma_{ae}\right]^T L_{aa}^{-1}\Sigma_{ae} \end{align*}$

式（2）に到達します。

\begin{aligned} {var}_{{\hat{μ}}_{e}} & = d [K_{e e} - {[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]] \\ dimensions = [50 \times 1] \end{aligned}

$\begin{align} \text{var}_{\hat\mu_{\bf e}}&=\text{d}\left[ \bf K_{ee} - \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right]\\ &\text{dimensions}=\color{red}{\left[50 \times 1\right]} \end{align}$

。我々は、式（3）OPでは、発電の方法であることがわかります後部ランダムカーブ条件データに（トレーニングセット）、および利用3多変量正規乱数を描画を生成するために、コレスキーフォームを：

\begin{aligned} f_{post} & = \hat{μ} + [{var}_{{\hat{μ}}_{e}}] [rnorm \sim (0, 1)] \\ = \hat{μ} + [\underset{[50 \times 50]}{L_{e e}} - [{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]]] [\underset{[50 \times 3]}{rand.norm's}] \\ dimensions = [50 \times 3] \end{aligned}

$\begin{align} f_{\text{post}} &= {\bf \hat \mu} + \left[ \text{var}_{\hat\mu_{\bf e}}\right][\text{rnorm}\sim (0,1)]\\ &=\bf \hat \mu + \left[ \underset{\color{blue}{[50 \times 50]}} {\color{orange}{L_{ee}}}\, \, \, - \left[ \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right] \right] \left[\underset{\color{green}{[50 \times 3]}}{\text{rand.norm's}}\right]\\ &\text{dimensions}= \color{red}{\left[50 \times 3\right]} \end{align}$

— アントニ・パレッラダ
ソース

これは本か紙か？共分散行列が非常に悪条件である（ただし、ほぼ依存する（近くの）データポイントを削除またはマージすることなく）倍精度で条件付き平均と分散を計算する堅牢な方法はありますか？ソフトウェアでの多精度は機能しますが、ハードウェアの倍精度に対して2.5〜3桁の速度低下があるため、「低速」の倍精度アルゴリズムでも優れています。コレスキーはそれをカットするとは思わない。共分散行列が非常に悪条件である場合、QRでさえもそうは思わない。標準的なバックソルブを使用すると、精度が必要になるようです。

— マークL.ストーン