マテルン共分散関数の理論的根拠は何ですか?


19

マテルン共分散関数は、一般にガウス過程のカーネル関数として使用されます。このように定義されます

Cν(d)=σ221νΓ(ν)(2νdρ)νKν(2νdρ)

ここで、は距離関数(ユークリッド距離など)、はガンマ関数、は第2種の修正ベッセル関数、およびは正のパラメーターです。は、実際にはまたはに選ばれた多くの時間です。dΓKνρνν3252

多くの場合、このカーネルは「滑らかではない」ため標準のガウスカーネルよりもうまく機能しますが、それ以外に、このカーネルを好む他の理由はありますか?それがどのように振る舞うかについてのいくつかの幾何学的な直観、または一見不可解な式の説明は高く評価されるでしょう。

回答:


18

@DahnJahnのいい答えに加えて、ベッセル関数とガンマ関数がどこから来たのかについてもう少し言いたいと思いました。共分散関数に到達するための出発点の1つは、ボフナーの定理です。

定理(Bochner)連続定常関数は、が有限の正の尺度のフーリエ変換である場合に限り、正定です : \ widetilde {k}(t)= \ int _ {\ mathbb {R}} e ^ {−iωt} dµ(ω)k(x,y)=k~(|xy|)k~

k~(t)=Reiωtdµ(ω)

これから、マテール共分散行列が(ソース)のフーリエ変換として導出されると推定できます。それはすべて良いことですが、によって与えられるこの有限の正の測定値にどのように到達するかを実際に教えてくれません。さて、それは確率過程の(パワー)スペクトル密度です。1(1+ω2)p 1(1+ω2)pf(x)

どの確率的プロセス?マテルン共分散関数を使用したランダムプロセスは、確率偏微分方程式(SPDE)解 であることが知られています。 ここでは単位分散をもつガウス白色雑音、はラプラス演算子であり、(これはCressieとWikleにあると思う)。Rd

(κ2)α/2X(s)=φW(s),
W(s)
Δ=i=1d2xi2
α=ν+d/2

なぜこの特定のSPDE /確率的プロセスを選択するのですか?起源は空間統計にあり、うまく機能する最も単純で自然な共分散であると主張されています。R2

指数相関関数は、マルコフ過程に対応するため、1次元の自然な相関です。2次元では、これはもはやそうではありませんが、指数関数は地球統計学の仕事で一般的な相関関数です。Whittle(1954)は、ラプラス型の確率微分方程式に対応する相関を決定しました。

[(t1)2+(t2)2κ2]X(t1,t2)=ϵ(t1,t2)
ここで、はホワイトノイズです。対応する離散格子プロセスは、2次自己回帰です。(ソース)ϵ

マターン方程式に関連付けられたSDEに含まれるプロセスのファミリーには、ブラウン運動を受ける粒子の速度の Ornstein-Uhlenbeckモデルが含まれます。より一般的には、マテーン族の共分散も持つすべての整数のプロセスの族のパワースペクトルを定義できます。これは、ラスムッセンとウィリアムズの付録にあります。AR(1)AR(p)p

この共分散関数はMatérnクラスタープロセスとは関係ありません。

参照資料

クレッシー、ノエル、クリストファー・K・ウィクル。時空間データの統計。ジョン・ワイリー&サンズ、2015年。

Guttorp、Peter、およびTilmann Gneiting。「確率と統計の歴史の研究XLIX On the Matern correlation family」Biometrika 93.4(2006):989-995。

ラスムッセン、CE、ウィリアムズ、CKI Gaussian Processes for Machine Learning。MIT Press、2006。


2
一次元の場合には、形状のMatern共分散とは正の整数である連続時間自己回帰プロセスのオーダーの。ただし、すべてのモデルにマターン共分散があるわけではありません。ν=p1/2pCAR(p)pCAR(p)
イヴ

それは私の側の明らかな誤解です。答えを更新します。ありがとうございました!
MachineEpsilon

16

私にはわかりませんが、この質問は非常に興味深いものであり、少し読んだ後に得たものです。

特定の値の場合、マテルン共分散関数指数と多項式の積として表現できます。例えば、: 、実際に収束する ことはそれほど驚くことではありませんガウスRBF: について、マテルン共分散関数は絶対指数カーネル νν=5/2

C5/2(d)=σ2(1+5dρ+5d23ρ2)exp(5dρ)
νCν
limνCν(d)=σ2exp(d22ρ2)
ν=1/2
C1/2(d)=σ2exp(dρ)

さらに、パラメーター持つMatérn共分散関数を持つGaussianプロセスは -time微分可能です。νν1

これは、Rasmussen&Williams(2006)から撮影した写真で非常にうまく実証されています。 CE Rasmussen&CKI Williams、機械学習のためのガウス過程、MIT Press、2006、ISBN 026218253X。 c 2006マサチューセッツ工科大学。 www.GaussianProcess.org/gpml

空間データの補間、(実際Matérn共分散関数の名前を提案)スタイン、主張(PG 30)ガウス共分散関数の無限微分が唯一の小さな連続的な部分を観察するため、物理的プロセスのために非現実的な結果をもたらすこと理論的には、空間/時間は関数全体をもたらすはずです。このように、彼は物理的なプロセスをより現実的に一致させることができる一般化としてマテルン版を提案しました。

概要

マテルン共分散関数は、ガウス動径基底関数の一般化として見ることができます。根本的に異なる結果を与える絶対指数カーネルも含まれており、その有限の微分可能性により(有限の)物理プロセスをよりよくキャプチャできます。ν

ベッセル関数の外観の神秘性については、その背後にあるさらなる直観を見てみたいと思いますが、このコンテキストでそれを有用にし、スタインを導くのは、まさにその(漸近的な)動作であると思いますマテルン共分散関数を定義します。もちろん、それがすべてが真実である理由について美しい議論がある可能性を排除するものではありません。ν


1
(+1)マテルンの本pub.epsilon.slu.se/10033/1/…にこの共分散関数の説明または派生があるかどうか興味がありました。今のところ見つけることができませんでした。この共分散関数は、スタインの本で非常に重要な位置を占めているように思われるので、もっと知りたいと思っています。
MachineEpsilon

@Machineepsilonは、実際にすべての関数について言及/定義していますか?私はスタインの本から、彼がそれを思いついたものであり、マテルンにちなんで名付けただけだと感じました。
ダーン

私は知りません、それがちょっと私が知りたかったことです!ラスムッセンも本を参照しているので、私は見てみようと思うでしょう。
MachineEpsilon
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.