背景と問題

回帰とその後のベイズ最適化（BO）にガウス過程（GP）を使用しています。回帰の場合、MATLABでgpmlパッケージを使用し、いくつかのカスタムメイドの変更を加えますが、問題は一般的です。

2つのトレーニング入力が入力空間内で近すぎる場合、共分散行列が非正定値になる可能性があることはよく知られています（このサイトにはいくつかの質問があります）。その結果、さまざまなGP計算に必要な共分散行列のコレスキー分解は、数値誤差により失敗する場合があります。これは、私が使用している目的関数でBOを実行したときにいくつかのケースで発生し、修正したいと思います。

提案されたソリューション

悪条件を緩和するための標準ソリューションであるAFAIKは、共分散行列の対角線にリッジまたはナゲットを追加することです。GP回帰の場合、これは観測ノイズの追加（または、既に存在する場合は増加）に相当します。

ここまでは順調ですね。コードを修正してgpmlを正確に推論し、コレスキー分解が失敗するたびに、ジョンD' Errico によるこのMATLABコードに触発されたフロベニウスノルムの最も近い対称正定（SPD）行列に共分散行列を修正しようとします。理論的根拠は、元のマトリックスへの介入を最小限にすることです。

この回避策は仕事をしますが、いくつかの機能でBOのパフォーマンスが大幅に低下することに気付きました-おそらくアルゴリズムが特定の領域にズームインする必要があるときはいつでも（たとえば、最小に近づくか、長さのスケールのため問題の不均一に小さくなります）。2つの入力ポイントが近づきすぎるとノイズが効果的に増加するため、この動作は理にかなっていますが、もちろん理想的ではありません。または、問題のあるポイントを削除することもできますが、繰り返しますが、入力ポイントを近づける必要がある場合があります。

質問

GPの共分散行列のコレスキー因数分解に関する数値的な問題は新しい問題ではないと思いますが、驚いたことに、ノイズを増やしたり、互いに近すぎる点を削除したりすることを除けば、これまでのところ多くの解決策を見つけることができませんでした。一方で、私の機能のいくつかは非常に悪い振る舞いをしているので、おそらく私の状況はそれほど典型的ではありません。

ここで役立つ可能性のある提案/参照はありますか？

別のオプションは、基本的に原因となるポイントを平均化することです。たとえば、1000個のポイントがあり、50個の問題がある場合、最初の950の固有値/ベクトルを使用して最適な低ランク近似を取得できます。ただし、これは、そうしないと言ったデータポイントを近くに削除することからそれほど遠くありません。ただし、ジッタを追加すると、自由度が低下することに注意してください。つまり、各ポイントは予測への影響が少ないため、使用するポイントが少ないほど悪化する可能性があります。

$dxk(x,x')$$dxdx'k(x,x')$

編集：

コメントに基づいて、微分観測を含めることで私が意味することを詳しく説明すると思いました。（例として）ガウスカーネルを使用する場合、

$k_{x,x'} = k(x, x') = \sigma\exp(-\frac{(x-x')^2}{l^2})$

その派生物は、

$k_{dx,x'} =\frac{dk(x, x')}{dx} = - \frac{2(x-x')}{l^2} \sigma\exp(-\frac{(x-x')^2}{l^2})$

$k_{dx,dx'} =\frac{d^2k(x, x')}{dxdx'} = 2 \frac{l^2 - 2(x-x')}{l^4} \sigma\exp(-\frac{(x-x')^2}{l^2})$

$\{x_i, y_i ; i = 1,...,n \}$$x_1$$m_1$

$Y = [m_1, y_1, \dots, y_n]$

$K = \left( \begin{array}{cccc} k_{dx_0,dx_0} & k_{dx_0,x_0} & \dots & k_{dx_0,x_n} \\ k_{dx_0,x_0} & k_{x_0,x_0} & \dots & k_{x_0,x_n} \\ \vdots & \vdots & \ddots & \vdots \\ k_{dx_0,x_n} & k_{x_0,x_n} & \dots & k_{x_n,x_n} \end{array} \right)$

GPの残りの部分は通常と同じです。

私たちがオフィスで始めた解決策の1つは、面倒なポイントを変更することです。これは、まっすぐな削除またはより洗練された何かの形をとることができます。本質的に、観測は、近接点が非常に冗長であるということです。実際、非常に冗長であるため、共分散行列のランクが低下します。同様に、1つのポイントは手元の問題にほとんど情報を提供しないので、どちらかを削除する（またはそれらを平均化するか、あるポイントを他のポイントから最小バウンド距離まで「バウンス」するなど）ソリューションをそれほど大きく変えるわけではありません。

どの時点で2つのポイントが「近すぎる」かを判断する方法がわかりません。おそらく、これはユーザーに残されたチューニングオプションかもしれません。

（おっと！これを投稿した後、私は見つけました ここであなたの質問。この答えをより精巧なソリューションに進めます。私の答えからリンクすることで、SEOを支援できることを願っています...）