カーネルSVMの背後にある直感を理解しようとしています。今、私は線形SVMがどのように機能するかを理解します。それにより、データを可能な限り分割する決定ラインが作成されます。また、データをより高次元の空間に移植する背後にある原理と、この新しい空間で線形決定ラインを見つけやすくする方法を理解しています。私が理解していないのは、この新しいスペースにデータポイントを投影するためにカーネルがどのように使用されるかです。

カーネルについて知っていることは、2つのデータポイント間の「類似性」を効果的に表しているということです。しかし、これはどのように投影に関連していますか？

ましょ$h(x)$ 、高次元空間への射影である$\mathcal{F}$。基本的に、カーネル関数$K(x_1,x_2)=\langle h(x_1),h(x_2)\rangle$内積です。そのため、データポイントの投影には使用されず、投影の結果として使用されます。これは類似性の尺度と見なすことができますが、SVMではそれ以上のものです。

最適な分離超平面を見つけるための最適化には、内積形式のみによるh （x $\mathcal{F}$含まれます。つまり、K （⋅ 、⋅ ）を知っていれば、h （x ）の正確な形式を知る必要はなく、最適化が容易になります。$h(x)$$K(\cdot,\cdot)$$h(x)$

各カーネル$K(\cdot,\cdot)$は、対応する$h(x)$もあります。そのため、そのカーネルでSVMを使用している場合、$h(x)$マップされる空間で線形決定線を暗黙的に見つけることになります。

統計学習の要素の第12章では、SVMについて簡単に紹介しています。これにより、カーネルと機能マッピング間の接続に関する詳細が提供されます。http： //statweb.stanford.edu/~tibs/ElemStatLearn/

カーネルSVMの有用なプロパティは普遍的ではありません-カーネルの選択に依存します。直観を得るために、最も一般的に使用されるカーネルの1つであるガウスカーネルを見ると役立ちます。驚くべきことに、このカーネルはSVMをk最近傍分類器のようなものに変えます。

この回答は次のことを説明しています。

1. 帯域幅が十分に小さいガウスカーネルを使用して、ポジティブトレーニングデータとネガティブトレーニングデータを完全に分離できる理由（オーバーフィッティングのコスト）
2. この分離が機能空間で線形として解釈される方法。
3. カーネルを使用して、データ空間から機能空間へのマッピングを構築する方法。ネタバレ：機能空間は非常に数学的に抽象的なオブジェクトであり、カーネルに基づいた異常な抽象的な内積を持っています。

1.完全な分離を達成する

ガウスカーネルでは、カーネルのローカリティプロパティにより、任意の柔軟性のある決定境界につながるため、常に完全な分離が可能です。カーネルの帯域幅が十分に小さい場合、肯定的な例と否定的な例を区別する必要があるときはいつでも、決定境界はポイントの周りに小さな円を描いたように見えます。

（クレジット：Andrew Ngのオンライン機械学習コース）。

では、なぜこれが数学的な観点から起こるのでしょうか？

標準の設定を考えてみましょう：あなたは、ガウスカーネル持っ とトレーニングデータ（X （1 ）、Y （1 ））、（X （2 ）、y （2 ））、… 、（x （n ）$K(\mathbf{x},\mathbf{z}) = \exp(- ||\mathbf{x}-\mathbf{z}||^2 / \sigma^2)$ここで、 y （i ）値は ± 1です。分類関数を学びたい$(\mathbf{x}^{(1)},y^{(1)}), (\mathbf{x}^{(2)},y^{(2)}), \ldots, (\mathbf{x}^{(n)},y^{(n)})$$y^{(i)}$$\pm 1$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x})$$

重みをどのように割り当てるのでしょうか？無限次元空間と二次計画アルゴリズムが必要ですか？いいえ。ポイントを完全に分離できることを示したいだけです。私が作るので、σ最小分離よりも小さい億回| | x （i ） − x （j ） | | 任意の2つのトレーニング例の間で、w i = 1に設定します。すべてのトレーニング点が離れ限りカーネルに関しては億シグマであり、各点は完全の符号制御するこの手段$w_i$$\sigma$$||\mathbf{x}^{(i)} - \mathbf{x}^{(j)}||$$w_i = 1$$\hat{y}$近所で。正式には、

$$\hat{y}(\mathbf{x}^{(k)}) = \sum_{i=1}^n y^{(k)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} K(\mathbf{x}^{(k)},\mathbf{x}^{(k)}) + \sum_{i \neq k} y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} + \epsilon$$

ここで、は任意の小さな値です。x （k ）が他の点から10億シグマ離れているため、ϵが小さいことがわかっているため、すべてのi ≠ kについて$\epsilon$$\epsilon$$\mathbf{x}^{(k)}$$i \neq k$

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = \exp(- ||\mathbf{x}^{(i)} - \mathbf{x}^{(k)}||^2 / \sigma^2) \approx 0.$$

以来、小さいので、Y（X （kは））間違いなく同じ符号有するY （kは）、及び分類器は、訓練データに完璧な精度を達成します。実際には、これはひどく過剰に適合しますが、ガウスカーネルSVMの非常に高い柔軟性と、最近傍分類子と非常によく似た動作ができることを示しています。$\epsilon$$\hat{y}(\mathbf{x}^{(k)})$$y^{(k)}$

2.線形分離としてのカーネルSVM学習

これが「無限次元の特徴空間での完全な線形分離」として解釈できるという事実は、カーネルのトリックに由来します。これにより、カーネルを新しい特徴空間の抽象的な内積として解釈できます。

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(j)}) = \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x}^{(j)})\rangle$$

ここで、はデータ空間から特徴空間へのマッピングです。その直後のY（X）特徴空間における線形関数としての機能：$\Phi(\mathbf{x})$$\hat{y}(\mathbf{x})$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x})\rangle = L(\Phi(\mathbf{x}))$$

ここで、線形関数は、特徴空間ベクトルvで次のように定義されます。$L(\mathbf{v})$$\mathbf{v}$

$$L(\mathbf{v}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\mathbf{v}\rangle$$

この関数は、内積と固定ベクトルの線形結合にすぎないため、で線形です。特徴空間において、決定境界Y（X）= 0はわずかであるL （V）= 0、線形関数のレベルセット。これは、機能空間における超平面のまさに定義です。$\mathbf{v}$$\hat{y}(\mathbf{x}) = 0$$L(\mathbf{v}) = 0$

3.カーネルを使用して機能空間を構築する方法

カーネルメソッドは、実際に機能空間またはマッピング明示的に「検出」または「計算」することはありません。SVMなどのカーネル学習メソッドは、動作するためにそれらを必要としません。カーネル関数Kのみが必要です。Φの式を書き留めることは可能ですが、それがマップする機能空間は非常に抽象的であり、SVMに関する理論的な結果を証明するためにのみ実際に使用されます。まだ興味がある場合は、次のように機能します。$\Phi$$K$$\Phi$

基本的に、各ベクトルがXからRまでの関数である抽象的なベクトル空間を定義します。ベクトルFでVは、カーネル・スライスの有限の線形結合から形成される機能である： F （X）= N Σ iが= 1 α I K （X （I ）、X） （ここで、X （iは）単に任意ですポイントのセットであり、トレーニングセットと同じである必要はありません。）fと書くのが便利です。$V$$\mathcal{X}$$\mathbb{R}$$f$$V$

$$f(\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$$ $\mathbf{x}^{(i)}$$f$よりコンパクトとして ここで、K X（Y）= K （X、Yは）でカーネルの"スライス"を与える関数であり、xは。 $$f = \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}$$ $K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y})$$\mathbf{x}$

空間上の内積は通常のドット積ではなく、カーネルに基づく抽象的な内積です。

$$\langle \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}, \sum_{j=1}^n \beta_j K_{\mathbf{x}^{(j)}} \rangle = \sum_{i,j} \alpha_i \beta_j K(\mathbf{x}^{(i)},\mathbf{x}^{(j)})$$

この定義は非常に審議されています。その構成は、我々が線形分離のために必要なアイデンティティ、確実に。$\langle \Phi(\mathbf{x}), \Phi(\mathbf{y}) \rangle = K(\mathbf{x},\mathbf{y})$

このように定義された特徴空間では、はマッピングX → Vであり、各ポイントxをそのポイントの「カーネルスライス」に取ります。$\Phi$$\mathcal{X} \rightarrow V$$\mathbf{x}$

$$\Phi(\mathbf{x}) = K_\mathbf{x}, \quad \text{where} \quad K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y}).$$

Kが正定カーネルの場合、が内積空間であることを証明できます。詳細については、このペーパーを参照してください。$V$$K$

背景と表記については、サポートベクターから決定境界を計算する方法を参照してください。。

So the features in the 'original' space are the vectors $x_i$, the binary outcome $y_i \in \{-1, +1\}$ and the Lagrange multipliers are $\alpha_i$.

As said by @Lii (+1) the Kernel can be written as $K(x,y)=h(x) \cdot h(y)$ ('$\cdot$' represents the inner product.

I will try to give some 'intuitive' explanation of what this $h$ looks like, so this answer is no formal proof, it just wants to give some feeling of how I think that this works. Do not hesitate to correct me if I am wrong.

I have to 'transform' my feature space (so my $x_i$) into some 'new' feature space in which the linear separation will be solved.

For each observation $x_i$, I define functions $\phi_i(x)=K(x_i,x)$, so I have a function $\phi_i$ for each element of my training sample. These functions $\phi_i$ span a vector space. The vector space spanned by the $\phi_i$, note it $V=span(\phi_{i, i=1,2,\dots N})$.

I will try to argue that is the vector space in which linear separation will be possible. By definition of the span, each vector in the vector space $V$ can be written as as a linear combination of the $\phi_i$, i.e.: $\sum_{i=1}^N \gamma_i \phi_i$, where $\gamma_i$ are real numbers.

$N$ is the size of the training sample and therefore the dimension of the vector space $V$ can go up to $N$, depending on whether the $\phi_i$ are linear independent. As $\phi_i(x)=K(x_i,x)$ (see supra, we defined $\phi$ in this way), this means that the dimension of $V$ depends on the kernel used and can go up to the size of the training sample.

The transformation, that maps my original feature space to $V$ is defined as

$\Phi: x_i \to \phi(x)=K(x_i, x)$.

This map $\Phi$ maps my original feature space onto a vector space that can have a dimension that goed up to the size of my training sample.

Obviously, this transformation (a) depends on the kernel, (b) depends on the values $x_i$ in the training sample and (c) can, depending on my kernel, have a dimension that goes up to the size of my training sample and (d) the vectors of $V$ look like $\sum_{i=1}^N \gamma_i \phi_i$, where $\gamma_i$, $\gamma_i$ are real numbers.

Looking at the function $f(x)$ in How to calculate decision boundary from support vectors? it can be seen that $f(x)=\sum_i y_i \alpha_i \phi_i(x)+b$.

In other words, $f(x)$ is a linear combination of the $\phi_i$ and this is a linear separator in the V-space : it is a particular choice of the $\gamma_i$ namely $\gamma_i=\alpha_i y_i$ !

The $y_i$ are known from our observations, the $\alpha_i$ are the Lagrange multipliers that the SVM has found. In other words SVM find, through the use of a kernel and by solving a quadratic programming problem, a linear separation in the $V$-spave.

This is my intuitive understanding of how the 'kernel trick' allows one to 'implicitly' transform the original feature space into a new feature space $V$, with a different dimension. This dimension depends on the kernel you use and for the RBF kernel this dimension can go up to the size of the training sample.

So kernels are a technique that allows SVM to transform your feature space , see also What makes the Gaussian kernel so magical for PCA, and also in general?

Transform predictors (input data) to a high-dimensional feature space. It is sufficient to just specify the kernel for this step and the data is never explicitly transformed to the feature space. This process is commonly known as the kernel trick.

Let me explain it. The kernel trick is the key here. Consider the case of a Radial Basis Function (RBF) Kernel here. It transforms the input to infinite dimensional space. The transformation of input $x$ to $\phi(x)$ can be represented as shown below (taken from http://www.csie.ntu.edu.tw/~cjlin/talks/kuleuven_svm.pdf)

The input space is finite dimensional but the transformed space is infinite dimensional. Transforming the input to an infinite dimensional space is something that happens as a result of the kernel trick. Here $x$ which is the input and $\phi$ is the transformed input. But $\phi$ is not computed as it is, instead the product $\phi(x_i)^T\phi(x)$ is computed which is just the exponential of the norm between $x_i$ and $x$.

There is a related question Feature map for the Gaussian kernel to which there is a nice answer /stats//a/69767/86202.

The output or decision function is a function of the kernel matrix $K(x_i,x)=\phi(x_i)^T\phi(x)$ and not of the input $x$ or transformed input $\phi$ directly.

高次元へのマッピングは、元の次元で定義された問題を解決するための単なるトリックです。そのため、自由度が多すぎるディメンションにアクセスしてデータを過剰適合させるなどの懸念は、マッピングプロセスの副産物ではなく、問題定義に固有​​のものです。

基本的に、マッピングは元の次元の条件付き分類を高次元の平面定義に変換するだけで、高次元の平面と低次元の条件の間には1対1の関係があるため、常に2つの間を移動します。

明らかにオーバーフィットの問題に対処するには、各観測を独自のクラスに分離するのに十分な条件を定義することにより、任意の観測セットを過適合できます。これは、データを（n-1）Dにマッピングするのと同等です（nは観測の数） 。

観測が[[1、-1]、[0,0]、[1,1]] [[feature、value]]である最も単純な問題を取り、2D次元に移動してデータを線で区切る、条件付き分類を単にfeature < 1 && feature > -1 : 0通過する線の定義に変えています(-1 + epsilon, 1 - epsilon)。より多くのデータポイントがあり、より多くの条件が必要な場合は、定義する新しい条件ごとに、より高い次元にもう1つの自由度を追加する必要がありました。

より高い次元へのマッピングのプロセスを、新しい問題の条件と自由度の間の1対1の関係を提供するプロセスに置き換えることができます。カーネルトリックは単純にそれを行います。