ガウス過程での観測のマージ

回帰にはガウス過程（GP）を使用しています。

私の問題では、2つ以上のデータポイントが長さに対して相対的に近いことがよくあります問題のスケール。また、観測は非常に騒々しいことができます。計算を高速化し、測定精度を向上させるために、より大きな長さスケールでの予測に関心がある限り、互いに近い点のクラスターをマージ/統合するのは自然なことのようです。$\vec{x}^{(1)},\vec{x}^{(2)},\ldots$

これを行うには高速だが半原則的な方法は何ですか？

2つのデータポイントは完全に重複した場合、および観測ノイズ（すなわち、尤度）は、おそらくheteroskedasticしかしガウスであり、公知の、処理の自然な方法は、それらを単一のデータポイントにマージするようです：$\vec{x}^{(1)} = \vec{x}^{(2)}$

• $\vec{\bar{x}} \equiv \vec{x}^{(k)}$、のために。$k=1,2$

• 観測値は、相対精度で重み付けされた観測値平均です：。$\bar{y}$$y^{(1)}, y^{(2)}$$\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)}$

• 等しい観測に関連するノイズ。$\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})}$

ただし、近接しているが重複していない 2つのポイントをどのようにマージする必要がありますか？

• は、やはり相対的信頼性を使用して、2つの位置の加重平均である必要があると思います。理論的根拠は、重心の議論です（つまり、非常に正確な観測を、あまり正確でない観測のスタックとして考えます）。$\vec{\bar{x}}$

• 用上記と同じ式。$\bar{y}$

• 観測に関連するノイズについては、上記の式に加えて、データポイントを移動しているため、ノイズに補正項を追加する必要があるのでしょうか。基本的に、と（それぞれ、信号分散と共分散関数の長さスケール）に関連する不確実性が増加します。この用語の形式はわかりませんが、共分散関数が与えられた場合の計算方法について、いくつかの仮のアイデアがあります。$\sigma_f^2$$\ell^2$

先に進む前に、すでに何かがそこにあるのかどうか疑問に思いました。これが賢明な手順であると思われる場合、またはより迅速な方法がある場合。

私は文献で見つけることができる最も近いものは、この論文である：E. SnelsonとZ. Ghahramaniは、擬似入力を使用してスパースガウシアンプロセスは、'05 NIPS。しかし、それらの方法は（比較的）関与しており、疑似入力を見つけるために最適化が必要です。

素晴らしい質問と、あなたが提案していることは合理的に聞こえます。しかし、個人的には、効率を上げるために別の方法で進めます。先ほど述べたように、近接する2つの点は追加情報をほとんど提供しないため、モデルの有効自由度は観測されるデータ点の数よりも少なくなります。そのような場合、GPMLでよく説明されているNystromsメソッドを使用する価値があります（スパース近似の章はhttp://www.gaussianprocess.org/gpml/にあります）。この方法は実装が非常に簡単で、最近、Rudiらによって非常に正確であることが証明されています。（http://arxiv.org/abs/1507.04717）

また、ガウスプロセス回帰を実行するときに、観測値のマージを調査しています。私の問題では、共変量は1つだけです。

ニストロム近似が望ましいことに必ずしも同意するかどうかはわかりません。特に、マージされたデータセットに基づいて十分な近似が見つかると、Nystrom近似を使用する場合よりも計算が速くなります。

以下は、1000データポイントと事後GP平均、レコードがマージされた事後GP平均、およびNystrom近似を使用した事後GP平均を示すグラフです。レコードは、順序付けられた共変量の同じサイズのバケットに基づいてグループ化されました。近似の順序は、レコードをマージするときのグループの数とNystromの近似の順序に関係します。マージ手法とNystrom近似はどちらも、近似次数が点の数と等しい場合、標準のGP回帰と同じ結果を生成します。

この場合、近似の次数が10の場合、マージアプローチが望ましいようです。次数が20の場合、Nystrom近似からの平均は、正確なGP事後平均と視覚的に区別できませんが、マージされた観測に基づく平均はおそらく十分です。順序が5の場合、どちらもかなり貧弱です。