薄板平滑化スプラインの確率論的解釈

TLDR：薄板回帰スプラインには確率的/ベイズ的解釈がありますか？

入力-出力ペア所与の $(x_i,y_i)$ 、 $i=1,...,n$ ; Iは、関数推定する $f(\cdot)$ としては、下記の

f (x) \approx u (x) = ϕ (x_{i})^{T} β + \sum_{i = 1}^{n} α_{i} k (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\phi(x_i)^T\beta +\sum_{i=1}^n \alpha_i k(x,x_i),\end{equation}$

k (\cdot, \cdot)

$k(\cdot,\cdot)$

ϕ (x_{i})

$\phi(x_i)$

m < n

$m<n$

α_{i}

$\alpha_i$

β_{i}

$\beta_i$

min_{α \in R^{n}, β \in R^{m}} \frac{1}{n} ‖ Y - Φ β - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n},\beta \in R^{m}}{\frac {1}{n}}\|Y-\Phi\beta -K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$

Φ

$\Phi$

ϕ (x_{i})^{T}

$\phi(x_i)^T$

i, j

$i,j$

K

$K$

k (x_{i}, x_{j})

$k(x_{i},x_{j})$

α^{*} = λ^{- 1} (I + λ^{- 1} K)^{- 1} (Y - Φ β^{*})

$\begin{equation} \alpha^*=\lambda^{-1}(I+\lambda^{-1}K)^{-1}(Y-\Phi\beta^*) \end{equation}$

が正定カーネル関数である

β^{*} = {Φ^{T} (I + λ^{- 1} K)^{- 1} Φ}^{- 1} Φ^{T} (I + λ^{- 1} K)^{- 1} Y .

$\begin{equation} \beta^*=\{\Phi^T(I+\lambda^{-1}K)^{-1}\Phi\}^{-1}\Phi^T(I+\lambda^{-1}K)^{-1}Y. \end{equation}$ と仮定すると、このソリューションは、次のベイジアンモデルの最良線形不偏予測子と見なすことができます：

where

そして

ガウス過程を示しています。例を見る

k (\cdot, \cdot)

$k(\cdot,\cdot)$

y | (β, h (\cdot)) \sim N (ϕ (x) β + h (x), σ^{2}),

$\begin{equation} y~\vert~(\beta,h(\cdot))~\sim~N(\phi(x)\beta+h(x),\sigma^2), \end{equation}$

h (\cdot) \sim G P (0, τ k (\cdot, \cdot)),

$\begin{equation} h(\cdot)~\sim~GP(0,\tau k(\cdot,\cdot)), \end{equation}$

β \propto 1,

$\begin{equation} \beta\propto1, \end{equation}$

σ^{2} / τ = λ

$\sigma^2/\tau=\lambda$

G P

$GP$ https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2665800/

私の質問は次のとおりです。私は聞かせたとし $k(x,x'):=|x-x'|^2 \ln(|x-x'|)$ と $\phi(x)^T=(1,x)$ 、すなわち薄板スプライン回帰。ここで、 $k(\cdot,\cdot)$ は正の半定関数ではなく、上記の解釈は機能しません。上記のモデルとそのソリューションは、 $k(\cdot,\cdot)$ が正の半定値である場合と同様に、確率論的解釈を持っていますか？

— MthQ
ソース

が次元空間にあるか、少なくとも整数が偶数であると想定しているようです。

x

$x$

d

$d$

d = 2

$d=2$

d

$d$

— イブ

わかりました、それでどういう意味ですか？

— MthQ 2018年

この質問では、はスカラーであると考える人がいるかもしれません。この場合にはDuchonのカーネルの形式を有するを有する整数であり、通常の平滑化スプライン用。確率論的解釈はほとんど変わらないと思いますが、GPは非定常的です。これは本質的なランダム関数です。通常の平滑化スプラインの場合、これは統合されたウィーナープロセスであることがわかります。

x_{i}

$x_i$

| x - x^{'} |^{2 m - 1}

$|x - x'|^{2m-1}$

m

$m$

m = 2

$m=2$

— Yves

@Yves面白いですね。コメントを回答に拡張し、固有のランダム関数とは何かをもう少し説明し、平滑化スプラインの古典的な例を追加することができます。TPSカーネルが非定常GPを引き起こすことを証明することについて心配する場合、特に事後予測分布の分散の非パラメトリック推定を追加する場合、シミュレーションはおそらく妥協に役立つ可能性があります。

— DeltaIV 2018年

@DeltaIV。ありがとうございました。私はそれをやろうとします、まだ簡単な仕事ではありません。これは、関数がカーネルに関連する適切な多項式である場合に当てはまるとしていますが、これは、より古典的なGPコンテキストのように、任意のない可能性があります。

ϕ_{j}

$\phi_j$

ϕ_{j}

$\phi_j$

— Yves

質問のモデルをここで、は、インデックス観測されていないGPであり、は、分散。GPは通常、中央に配置され、定常的で非決定的であると見なされます。という用語は、カーネルを持つ（決定論的）GPと見なすことができることに注意してくださいここで、

\begin{matrix} (1) & Y_{i} = ϕ (x_{i})^{⊤} β + h (x_{i}) + ε_{i} \end{matrix}

$\begin{equation} \tag{1} Y_i = \boldsymbol{\phi}(\mathbf{x}_i)^\top\boldsymbol{\beta} + h(\mathbf{x}_i) + \varepsilon_i \end{equation}$

h (x)

$h(\mathbf{x})$

x \in R^{d}

$\mathbf{x} \in \mathbb{R}^d$

ε_{i}

$\varepsilon_i$

σ^{2}

$\sigma^2$

ϕ (x)^{⊤} β

$\boldsymbol{\phi}(\mathbf{x})^\top \boldsymbol{\beta}$

ϕ (x)^{⊤} B ϕ (x)

$\boldsymbol{\phi}(\mathbf{x})^\top \mathbf{B}\, \boldsymbol{\phi}(\mathbf{x})$

B

$\mathbf{B}$ は「無限値」の共分散行列です。実際、をとすると、質問のクリギング方程式が得られます。これは、前に拡散と呼ばれます。の適切な事後は、行列がフルランクの場合にのみ得られます。したがって、モデルは次のように書き込みます。 where is GP 。がもはやGPではなく、GPである場合、同じベイズ解釈を制限付きで使用できます。

B := ρ I

$\mathbf{B} := \rho \, \mathbf{I}$

ρ \to \infty

$\rho \to \infty$

β

$\boldsymbol{\beta}$

β

$\boldsymbol{\beta}$

Φ

$\boldsymbol{\Phi}$

\begin{matrix} (2) & Y_{i} = ζ (x_{i}) + ε_{i} \end{matrix}

$\begin{equation} \tag{2} Y_i = \zeta(\mathbf{x}_i) + \varepsilon_i \end{equation}$

ζ (x)

$\zeta(\mathbf{x})$

ζ (x)

$\zeta(\mathbf{x})$ 組み込みランダム関数（IRF）。派生はG. Wahbaの本にあります。IRFの概念の読みやすいプレゼンテーションは、たとえば、N。Cressieの本や、以下に引用するMardiaらの記事にあります。IRFは、離散時間のコンテキスト（ARIMAなど）でよく知られている統合プロセスに似ています。IRFは、一種の差分演算によって古典的なGPに変換されます。

IRFの2つの例を次に示します。最初に、初期条件が拡散初期条件に置き換えられたWienerプロセスを考えます。は、無限の分散を伴う通常の状態です。値がわかれば、ウィーナーGPと同様にIRFを予測できます。次に、式で与えられる統合ウィーナープロセスを考え。はウィーナー過程です。GPを取得するには、2つのスカラーパラメーターが必要です 2つの値と必要です $d=1$ $\zeta(x)$ $\zeta(0) = 0$ $\zeta(0)$ $\zeta(x)$

d^{2} ζ (x) / d x^{2} = d W (x) / d x

$\text{d}^2 \zeta(x) / \text{d}x^2 = \text{d} W(x)/\text{d}x$

W (x)

$W(x)$

ζ (x)

$\zeta(x)$

ζ (x^{'})

$\zeta(x')$

x \neq x^{'}

$x \neq x'$ 、または値といくつかの選択される。2つの追加のパラメーターは、無限の共分散行列をもつガウス結合であると考えることができます。どちらの例でも、適切な有限の観測セットが利用可能になるとすぐに、IRFはGPとしてほぼ対処されます。さらに、微分演算子を使用しました：およびそれぞれ。nullspaceは、ような関数線形空間です。定数関数が含まれています

ζ (x)

$\zeta(x)$

d ζ (x) / d x

$\text{d}\zeta(x) / \text{d}x$

x

$x$

2 \times 2

$2 \times 2$

L := d / d x

$L := \text{d}/ \text{d}x$

L := d^{2} / d x^{2}

$L := \text{d}^2/ \text{d}x^2$

F

$\mathcal{F}$

ϕ (x)

$\phi(x)$

L ϕ = 0

$L \phi = 0$

ϕ_{1} (x) = 1

$\phi_1(x)=1$ 最初のケースでは、関数および、2番目のケースでは。最初の例では、は最初の例の任意の固定 GPであり、同様には2番目の場合のGPです。

ϕ_{1} (x) = 1

$\phi_1(x)=1$

ϕ_{2} (x) = x

$\phi_2(x) = x$

ζ (x) - ζ (x + δ)

$\zeta(x) - \zeta(x + \delta)$

δ

$\delta$

ζ (x - δ) - 2 ζ (x) + ζ (x + δ)

$\zeta(x-\delta) - 2 \zeta(x) + \zeta(x + \delta)$

一般的な次元について、定義された関数の線形空間を考えます。我々は、呼び出し増加に対しての有限のコレクション位置と実際の重みようを例のヌルスペースと考えてください。最初の例では、たとえばを任意のとで取り、 $d$ $\mathcal{F}$ $\mathbb{R}^d$ $\mathcal{F}$ $s$ $\mathbf{x}_i \in \mathbb{R}^d$ $s$ $\nu_i$

\sum_{i = 1}^{s} ν_{i} ϕ (x_{i}) = 0 for all ϕ \in F .

$\sum_{i=1}^s \, \nu_i \,\phi(\mathbf{x}_i) = 0 \text{ for all } \phi \in \mathcal{F}.$

F

$\mathcal{F}$

s = 2

$s=2$

x_{1}

$x_1$

x_{2}

$x_2$

[1, - 1]

$[1, \, -1]$ 。2番目の例では、等間隔の sとます。IRFの定義には、関数および関数スペースが含まれます。これは、条件付きで正の wrtであるため、ははに対する増分です。及び

s = 3

$s = 3$

x_{i}

$x_i$

ν = [1, - 2, 1]

$\boldsymbol{\nu} = [1,\,-2,\,1]$

F

$\mathcal{F}$

g (x, x^{'})

$g(\mathbf{x}, \, \mathbf{x}')$

F

$\mathcal{F}$

\sum_{i = 1}^{s} \sum_{j = 1}^{s} ν_{i} ν_{j} g (x_{i}, x_{j}^{'}) \geq 0

$\sum_{i=1}^s \sum_{j=1}^s \nu_i \nu_j \, g(\mathbf{x}_i, \, \mathbf{x}'_j) \geq 0$

[ν_{i}, x_{i}]_{i = 1}^{s}

$[\nu_i,\,\mathbf{x}_i]_{i=1}^s$

F

$\mathcal{F}$

F

$\mathcal{F}$

g (x, x^{'})

$g(\mathbf{x},\,\mathbf{x}')$ 共分散カーネルを作成できるため、マルディア他と同様にGPを使用できます。線形微分演算子から始めて、ヌルスペースをとして使用できます。この場合、IRFは方程式ガウスノイズと関連します。

L

$L$

F

$\mathcal{F}$

L ζ =

$L \zeta =$

IRFの予測の計算は、質問とほぼ同じですが、は置き換えられています。ですが、は基礎を形成しています。余分な制約最適化問題に追加する必要があります。これにより、が許可され。必要に応じて、ない基底関数をさらに追加できます。これは確定的なGPを追加する効果があります。たとえば、をIRF に追加します $k(\mathbf{x},\,\mathbf{x}')$ $g(\mathbf{x},\,\mathbf{x}')$ $\phi_i(\mathbf{x})$ $\mathcal{F}$ $\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$ $\boldsymbol{\alpha}^\top \mathbf{K} \boldsymbol{\alpha} \geq 0$ $\mathcal{F}$ $\boldsymbol{\psi}(\mathbf{x})^\top\boldsymbol{\gamma}$ $\zeta(\mathbf{x})$ （2）の）。

薄板スプラインは、ような整数依存します。空間は、次数の低い多項式を含み、次元はおよび依存します。場合ことを示すことができるのために、以下の関数である次には、条件付きで正のwrt定義します。構造は微分演算子関係します $m$ $m> 2d$ $\mathcal{F}$ $p(m)$ $m$ $d$ $E(r)$ $r \geq 0$

E (r) := {\begin{cases} (- 1)^{m + 1 + d / 2} r^{2 m - d} \log r & d even, \\ r^{2 m - d} & d odd, \end{cases}

$E(r) := \begin{cases} (-1)^{m + 1 + d /2} \, r^{2m-d} \log r & d \text{ even},\\ r^{2m-d} & d \text{ odd,} \end{cases}$

g (x, x^{'}) := E (‖ x - x^{'} ‖)

$g(\mathbf{x},\,\mathbf{x}') := E(\|\mathbf{x} - \mathbf{x}'\|)$

F

$\mathcal{F}$

L

$L$ 。それはのためにことが判明し及びと、薄板スプラインは、上記集積ウィナー例に関する通常の天然の三次スプライン、より何もない。したがって、（2）は通常の平滑化スプラインモデルと同じです。場合及び零空間は、次元有すると関数によって生成された、および。

d = 1

$d=1$

m = 2

$m=2$

g (x, x^{'}) = | x - x^{'} |^{3}

$g(x,\,x') = |x - x'|^3$

d = 2

$d=2$

m = 2

$m=2$

p (m) = 3

$p(m)=3$

1

$1$

x_{1}

$x_1$

x_{2}

$x_2$

空間データのクレシーN 統計。ワイリー1993。

マルディアKV、ケントJT、グドールCR、リトルJA。クリギングとスプラインと派生情報。Biometrika （1996）、83,1、pp。207-221。

観測データの Wahba G スプラインモデル。SIAM 1990。

王、Y スムージングスプライン、メソッド、アプリケーション。チャップマンとホール、2011年。

— イヴ
ソース

多大なご協力をいただき、誠にありがとうございました。もう1つ質問があります。したがって、（の基底関数の上に基底関数を追加しても、解釈は変わりません。しかし、私が気付いたのは、上記の質問で与えられた解決策が常に満たしていることです。。これはどのように解釈できますか？

ϕ (\cdot)

$\boldsymbol{\phi}(\cdot)$

F

$\mathcal{F}$

ζ (\cdot)

$\zeta(\cdot)$

α^{*}

$\alpha^*$

Φ^{⊤} α = 0

$\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$

ϕ (\cdot) \in F

$\boldsymbol{\phi}(\cdot)\in \mathcal{F}$

— MthQ 2018年

はい。どちらの場合も、近似には基底関数があり、観測値のみが使用されます。したがって、係数およびたランク不足の回帰のようなものがあります。部分はペナルティが課されないため、線形制約をもたらす部分よりもの変動をより多く「吸収」する傾向があります。「カーネルシフト」関数をとして使用することを禁止するものは何もないことに注意してください。それらすべてを使用する場合、すべての

n + p

$n+p$

f (x)

$f(x)$

n

$n$

β_{i}

$\beta_i$

α_{j}

$\alpha_j$

β

$\beta$

y

$y$

α

$\alpha$

p

$p$

n

$n$

x \mapsto k (x, x_{i})

$x \mapsto k(x, x_i)$

ϕ_{j} (x)

$\phi_j(x)$

α_{j}^{⋆}

$\alpha_j^\star$ 合理的であるように、ゼロです。

— イブ