カーネル化k最近傍

私はカーネルに不慣れで、kNNをカーネル化しようとしているときに障害に遭遇しました。

予選

私は多項式カーネルを使用しています：
$K(\mathbf{x},\mathbf{y}) = (1 + \langle \mathbf{x},\mathbf{y} \rangle)^d$

典型的なユークリッドkNNは次の距離計量を使用します：
$d(\mathbf{x}, \mathbf{y}) = \vert\vert \mathbf{x} - \mathbf{y} \vert\vert$

ましょうマップいくつかの高次元特徴空間に。次に、ヒルベルト空間における上記の距離計量の2乗は、内積で表すことができます x d 2（f （x ）、f （y ））= K （x、x）− 2 K （x、y）+ K （y、y$f(\mathbf{x})$$\mathbf{x}$$d^2(f(x), f(y)) = K(\mathbf{x},\mathbf{x}) - 2K(\mathbf{x}, \mathbf{y}) + K(\mathbf{y} ,\mathbf{y})$

すると、上記は標準ユークリッド距離に縮退することに注意してください。$d = 1$

質問

私が抱えている主な問題は、kNNをカーネル化すると、たとえばこの論文（警告、直接PDFリンク！）で実験的に示されているように、より良い結果が得られることを理解できないことです。

カバーの定理：大まかに述べると、有限ポイントの任意のセット（任意のラベルを使用）が与えられた場合、高い確率でこれらのポイントをより高い次元にマッピングすることにより、これらのポイントを線形分離可能にすることができます[1]。

含意：すばらしい、この定理からわかることは、データセットを取得してこれらのポイントをより高い次元にマッピングすると、線形分類器を簡単に見つけることができるということです。ただし、ほとんどの分類子は、ドット積のようなある種の類似性を計算する必要があります。これは、分類アルゴリズムの時間の複雑さがデータポイントの次元に比例することを意味します。したがって、より高い次元は、より大きな時間の複雑さを意味します（これらの大きな次元の点を格納するための空間の複雑さは言うまでもありません）。

カーネルトリック：うのデータポイントの元の寸法であり次元の空間にこれらの点をマップするマップである。ここで、元の空間から入力とを取得してを計算する関数がある場合、ドット積を計算できますより高次元の空間ではあるが複雑さではではなく。fはN （> > N ）、Kは、xはY K （X 、Y ）= ⟨ F （X ）、F （Y ）⟩ O （N ）O （N $n$$f$$N (>> n)$$K$$x$$y$$K(x, y) = \langle f(x), f(y) \rangle$$O(n)$$O(N)$

含意：したがって、分類アルゴリズムがドット積にのみ依存し、実際のマップ依存しない場合、カーネルトリックを使用して、ほとんど追加コストなしでアルゴリズムを高次元空間で実行できます。$f$

線形分離可能性は、同じクラスのポイントが異なるクラスのポイントよりも近くなることを意味しますか？ いいえ、そのような保証はありません。線形分離可能性は、同じクラスのポイントが接近したこと、または2つの異なるクラスのポイントがそれ以上になったことを実際に意味するものではありません。

では、なぜkNNが機能するのでしょうか？ 必要はありません！ただし、そうである場合、それは純粋にカーネルが原因です。

どういう意味ですか？ ブール特徴ベクトル考えます。次数2の多項式カーネルを使用すると、特徴ベクトルはベクトルマッピングされますx （x 2 1、$x = (x_1, x_2)$$x$$(x_1^2, \sqrt{2} x_1x_2, x_2^2)$。ブール特徴のベクトルから、2次多項式を使用するだけで、「結合」の特徴ベクトルを取得しました。したがって、カーネル自体がいくつかの素晴らしい機能マップを生成します。データに優れた元の機能があり、データがこれらのカーネルによって作成された機能マップの恩恵を受ける可能性がある場合。メリットとは、これらの機能マップによって生成される機能は、同じクラスのポイントを互いに近づけ、異なるクラスのポイントを遠ざけることができることを意味します。kNNは、カーネルを使用することでメリットを得られます。それ以外の場合、結果は元のデータでkNNを実行した場合と何も変わりません。

では、なぜカーネルkNNを使用するのでしょうか。 カーネルを使用する場合の計算の複雑さは通常のkNNよりもほんの少しだけ高く、カーネルを使用することでデータにメリットがある場合は、とにかくそれらを使用しないことを示しました。

kNNのカーネルから恩恵を受けることができるデータのクラスを研究した論文はありますか？ 私の知る限り、いいえ。

[1] http://en.wikipedia.org/wiki/Linear_separability
[2] http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=4038449&tag=1