ガウスカーネルの機能マップ

24

SVMでは、ガウスカーネルは次のように定義されます：ここで。明示的な方程式はわかりません。知りたいです。

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

私はまたかどうか知りたい

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ どこ

c_{i} \in R

$c_i\in \mathbb R$ 。今、私はそれが等しくないと思います。なぜなら、カーネルを使用すると、線形分類が機能しない状況を処理するからです。

ϕ

$\phi$ xを無限の空間に投影することを知っています。そのため、次元がいくつあっても線形のままである場合、svmは依然として適切な分類を行うことができません。

machine-learning svm kernel-trick

— ヴィヴィアン
ソース

なぜこのカーネルは変換を意味するのですか？または、関連する機能空間を参照していますか？

— プラキディア

はい、特徴空間は何

ϕ (\cdot)

$\phi(\cdot)$ よう

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— user27886

20

テーラー級数展開により、ガウスカーネルの明示的な方程式を取得できます。表記を簡単にするために、想定します。 $\phi$ $e^x$ $x\in \mathbb{R}^1$

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

これについては、NTUのChih-Jen Linによるこれらのスライドでも詳しく説明されています（具体的にはスライド11）。スライドでは、がカーネルパラメーターとして使用されていることに注意してください。 $\gamma=\frac{1}{2\sigma^2}$

OPの方程式は、線形カーネルに対してのみ有効です。

— マーク・クレセン
ソース

2

こんにちは。ただし、この方程式は1つの次元にのみ適しています。

— ビビアン

それで、ここで、再生カーネルのヒルベルト空間は部分空間です、正しいですか？

ℓ^{2}

$\ell^2$

— The_Anomaly

ラプラシアンカーネルの明示的な表現もありますか？

— フェリックスクラッツォララ

13

有効なpsdカーネル、ような特徴マップが存在します。スペースおよび埋め込みは実際には一意である必要はありませんが、再生カーネルヒルベルト空間（RKHS）として知られる重要な一意のペア）があります。 $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

RKHSについては、Steinwart、Hush、Scovel、ガウスRBFカーネルの再現ヒルトン空間の明示的な記述、IEEE情報理論に関するトランザクション2006（doi、無料citeseer pdf）で議論されています。

それはやや複雑ですが、次のようにます定義しますをとして定義します $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

ましょうのすべてにわたって及ぶ配列である非負の整数のタプル。場合、おそらく、、など。番目のタプルの番目のコンポーネントをます。 $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

の番目のコンポーネントはです。したがって、は、ベクトルを無限次元の複素ベクトルにマッピングします。 $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

これの難点は、これらの無限次元の複雑なベクトルのノルムを特別な方法でさらに定義する必要があることです。詳細については論文をご覧ください。

Steinwart et al。また、へのより簡単な（私の考えでは）埋め込み、からの平方積分可能な関数のヒルベルト空間をます：なお、それ自体から関数であるに。基本的には、平均と共分散を持つ次元ガウスの密度です。正規化定数のみが異なります。したがって、我々が取るとき $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ ガウス密度関数の積を取ります。これは、ガウス密度関数の一定の定数倍です。その積分をで行うと、抜け落ちる定数は正確にます。

t

$t$

k (x, y)

$k(x, y)$

動作する埋め込みはこれらだけではありません。

もう1つはフーリエ変換に基づいており、RahimiとRechtの著名な論文（大規模カーネルマシンのランダム機能、NIPS 2007）が大きな効果を発揮します。

テイラー級数を使用してそれを行うこともできます。事実上、コッター、ケシェット、およびスレブロの無限バージョン、ガウスカーネルの明示的近似、arXiv：1109.4603です。

— ドゥガル
ソース

1

Douglas Zareは、ここで興味深いスレッドに埋め込む「より簡単な」1dバージョンを提供しました。

— -Dougal

ここでは、無限のトレーニングサンプルであっても、がトレーニングサンプルのサイズに等しい次元の空間にマッピングできるという「直感的な」説明を見つけます。stats.stackexchange.com / questions

Φ

$\Phi$

6

2番目の式は、が線形マッピングである（つまり、が線形カーネルである）場合にのみ真になるように思えます。ガウスカーネルは非線形であるため、等式は保持されません（がゼロになる限界を除きます）。 $\phi$ $K$ $\sigma$

— ディクラン・マースピアル
ソース

ご回答ありがとうございます。場合、ガウスカーネルプロジェクトの次元が増加します。そして、あなたのインスピレーションにより、今ではそれは平等ではないと思います。カーネルを使用すると、線形分類が機能しない状況を処理するだけだからです。

σ \to 0

$\sigma\rightarrow 0$

— ビビアン