RBF SVMの効果を理解する方法

SVMのRBFカーネルの機能を理解するにはどうすればよいですか？私は数学を理解しているという意味ですが、このカーネルがいつ役に立つのかを知る方法はありますか？

RBFにはベクトル距離が含まれているため、kNNの結果はSVM / RBFに関連しますか？

多項式カーネルの感覚を得る方法はありますか？私は次元が高ければ高いほど、それがウィグリーであることを知っています。しかし、可能性のあるすべてのカーネルを試して最も成功したものを選ぶのではなく、カーネルが何をするのか直観を得たいと思います。

svm kernel-trick

— ジェレヌク
ソース

おそらく、ここでの私の答えの1つを見ることから始めることができます：
RBFカーネルを使用した非線形SVM分類

その答えでは、カーネル関数が何をしようとしているのかを説明しようとします。フォローアップとして何をしようとしているのかを把握したら、Quoraの質問に対する私の答えを読むことができます：https : //www.quora.com/Machine-Learning/Why-does-the-RBF-放射基底関数カーネルマップ-無限次元空間/ answer / Arun-Iyer-1

Quoraアカウントを持っていない場合に備えて、Quoraで回答の内容を再現します。

質問：なぜRBF（放射基底関数）カーネルが無限次元空間にマッピングされるのですか？回答：次の式で定義される次数2の多項式カーネルを考えますここで、および。
$k (x, y) = (x^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
これにより、カーネル関数は次のように記述できます次に、カーネル関数をように記述できるように、機能マップを考えてみましょう。
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ $k(x, y) = \Phi(x)^T\Phi(y)$
以下の特徴マップを考える基本的に、この機能マップは内点をマッピングさの点に。また、本質的にカーネル関数であるください。
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (y) = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
これは、カーネル関数が実際にの点の内積/ドット積を計算していることを意味します。つまり、からポイントを暗黙的にマッピングしています。 $\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

練習問題：ポイントがにある、次数2の多項式カーネルはそれをいくつかのベクトル空間Fに暗黙的にマッピングします。このベクトル空間Fの次元は何ですか？ヒント：上記で行ったことはすべて手がかりです。 $\mathbb{R}^n$

今、RBFに来ています。

内のポイントについて、RBFカーネルをもう一度考えてみましょう。次に、カーネルはように記述できます。（ガンマ= 1と仮定）。テイラーシリーズを使用すると、次のように記述できますここで、多項式カーネルで行ったように特徴マップを考え出すと、特徴マップが写像されることがわかります。すべてのポイント $\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$ 無限ベクトルに。したがって、RBFはすべてのポイントを無限の次元空間に暗黙的にマッピングします。
演習問題：上記の場合のRBFの特徴マップの最初のいくつかのベクトル要素を取得しますか？

さて、上記の答えから、私たちは何かを結論付けることができます：

一般に、マッピング関数が任意のカーネルでどのように見えるかを予測するのは非常に難しいかもしれません。ただし、多項式やRBFのような場合には、それがどのように見えるかを見ることができます。 $\Phi$
マッピング関数を知っていても、カーネルがポイントのセットに与える正確な影響を予測するのは難しいかもしれません。ただし、特定のケースでは、いくつかのことが言えます。たとえば、上記の 2次多項式カーネルのマップを見てください。それはのように見える。このことから、このマップが正反対の象限に折りたたまれていることがわかります。つまり、1番目と3番目の象限は同じポイントセットにマッピングされ、2番目と4番目の象限は同じポイントセットにマッピングされます。したがって、このカーネルにより、XOR問題を解決できます。ただし、一般に、多次元空間のこのような動作を予測するのは難しいかもしれません。また、RBFカーネルの場合は難しくなります。 $\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— テナリラマン
ソース