ガウス過程と相関

私はなぜ人々がガウス過程（GP）を使って未知の（時には決定論的）関数をモデル化するのか疑問に思っています。たとえば、未知の関数考えます。この関数から3つの独立した観測結果があります。 $y=f(x)$

$$\big(x_1,y_1); \big(x_2,y_2); \big(x_3,y_3)$$

基になる関数を学ぶために、GPはすべての出力を共通の多変量正規分布として扱う一般的なノンパラメトリック手法です。特定の共分散関数 を想定し、以下を想定します。 GPは次の形式を取ります $K(x_i,y_i)$

$$\mathbf{y}=(y_1,y_2,y_3);\mathbf{X}=(x_1,x_2,x_3)$$ $$\\ \bf{y}|X \sim N\Bigg(\mathbf{0},\begin{bmatrix} K(x_1,x_1) & K(x_1,x_2) & K(x_1,x_3) \\ K(x_1,x_2) & K(x_2,x_2) & K(x_2,x_3) \\ K(x_1,x_3) & K(x_2,x_3) & K(x_3,x_3) \ \end{bmatrix}\Bigg)\\$$

観測は独立しています。それらの唯一の共通点は、それらが同じ基本的な機能に由来することです。 $\big(x_i,y_i)$

私の主な質問は次のとおりです。なぜとを相関させる必要があるのですか？それは間違ったモデルではありませんか？どのようなについても、良い予測結果が得られると想定できるのはなぜですか。$\big(x_i,y_j)$$\big(x_{l},y_{m})$$y|x$

この問題で私が見逃している側面や、なぜ相関を強制することが役立つのかわかりません。

カーネルを選択することは、モデルを選択する関数のクラスを選択することと同じです。カーネルを選択することが多くの仮定をエンコードする大きなもののように感じられる場合、それはそれが理由です！この分野に不慣れな人は、カーネルの選択についてあまり考えず、たとえ適切でなくてもガウスカーネルを採用するだけです。

カーネルが適切であるかどうかをどのように判断するのですか？対応する関数空間の関数がどのように見えるかを考える必要があります。ガウスカーネルは非常に滑らかな関数に対応しており、そのカーネルが選択されると、滑らかな関数がまともなモデルを提供するという仮定が行われます。常にそうであるとは限りません。関数クラスをどのように見せたいかについてのさまざまな仮定をエンコードするカーネルは他にもたくさんあります。周期的な関数をモデル化するためのカーネル、非定常カーネル、およびその他のホスト全体があります。たとえば、チャールズマーティンのブログ（こちら）で示されているように、ガウスカーネルによってエンコードされた滑らかさの仮定はテキスト分類には適していません。

2つの異なるカーネルに対応するスペースからの関数の例を見てみましょう。最初はガウスカーネルで、もう1つはブラウン運動カーネル。各スペースからのランダムな描画は次のようになります。$k_1(x, x') = \exp(-\gamma |x - x'|^2)$$k_2(x, x') = \min \{x, x'\}$

明らかに、これらは優れたモデルとは何かについて非常に異なる仮定を表しています。

また、必ずしも相関を強制しているわけではないことに注意してください。平均関数をとし、共分散関数をます。今私たちのモデルは つまり、線形回帰を回復しました。$\mu(x) = x^T \beta$$k(x_i, x_j) = \sigma^2 \mathbf 1(i = j)$

$$Y | X \sim \mathcal N(X\beta, \sigma^2 I)$$

しかし、一般に、この近くのポイント間の相関は、非常に有用で強力なモデルです。石油掘削会社を経営していて、新しい石油埋蔵量を見つけたいと想像してみてください。ドリルするのは非常にコストがかかるので、できる限り数回ドリルダウンする必要があります。ドリルダウンしたとしましょう$n=5$穴と私たちは次の穴があるべき場所を知りたいです。地殻内の油の量は滑らかに変化していると想像できるので、ガウシアンカーネルを使用してガウシアンプロセスでドリルインすることを検討している領域全体の油の量をモデル化します。本当に近い場所は本当に同じ量の油を持ち、本当に離れた場所は事実上独立していると言っています。ガウスカーネルも定常的であり、これはこの場合は妥当です。定常性は、2点間の相関はそれらの間の距離にのみ依存することを示します。次に、モデルを使用して、次にドリルする場所を予測できます。ベイジアン最適化で1つのステップを実行しましたこれは、GPの相関関係の側面が好きな理由を直感的に理解するのに非常に良い方法だと思います。

もう1つの優れたリソースはJones et alです。（1998）。彼らはモデルをガウス過程とは呼びませんが、それはそうです。このペーパーは、決定論的な設定においても、近くのポイント間の相関を使用する理由を非常によく理解しています。

最後に、良い予測結果が得られるとは誰も思っていません。これは、相互検証などによって検証したいものです。

更新

私たちがモデル化している相関関係の性質を明確にしたいと思います。最初に線形回帰を考えてみましょう。このモデルでは、 for。ただし、場合、 $Y | X \sim \mathcal N(X\beta, \sigma^2 I)$$Y_i \perp Y_j | X$$i \neq j$$||x_1 - x_2||^2 < \varepsilon$

$$(E(Y_1 | X) - E(Y_2 | X))^2 = (x_1^T \beta - x_2^T \beta)^2 = \langle x_1 - x_2, \beta \rangle^2 \leq || x_1 - x_2||^2 ||\beta ||^2 < \varepsilon ||\beta ||^2.$$

したがって、これは、入力とが非常に近い場合、と平均が非常に近いことを示しています。これは、 $x_1$$x_2$$Y_1$$Y_2$

$$P(Y_1 > E(Y_1 | X) \ \vert \ Y_2 > E(Y_2 | X)) = P(Y_1 > E(Y_1 | X)).$$

それらが相関している場合、が平均値を上回っていることを知ると、について何かがわかります。$Y_2$$Y_1$

したがって、維持しましょう。ただし、による相関を追加します。は小さいという同じ結果がまだありますが、今では場合その平均値よりも大きい場合、たとえば、その後、おそらくあまりにもなります。これは、追加した相関です。$\mu(x) = x^T \beta$$Cov(Y_i, Y_j) = k(x_i, x_j)$$||x_1 - x_2||^2 < \varepsilon \implies (E(Y_1 | X) - E(Y_2 | X))^2$$Y_1$$Y_2$

とが互いに類似している場合、つまりが大きい場合、とも互いに類似しているはずです。したがって、（近似する関数の）入力空間の近さは、出力空間の近さになります。これは、多くのアプリケーションにとって妥当な仮定です。たとえば、2人の生徒が同様の高校GPAを取得している場合、SAT試験でも同様の成績が期待されます。$x_i$$x_l$$k(x_i, x_l)$$y_i$$y_l$