RBFカーネルを使用した非線形SVM分類

私は、RBFカーネルで非線形SVM分類器を実装しています。通常のSVMとの唯一の違いは、ドット積をカーネル関数に置き換えるだけでよいということです：通常の線形SVMのしくみを知っています。つまり、2次最適化問題（デュアルタスク）を解決した後、最適な分割超平面をとして計算します。および超平面のオフセットここで、はトレーニングベクトルのリスト、はそれぞれのラベル（）、

K (x_{i}, x_{j}) = \exp (- \frac{| | x_{i} - x_{j} | |^{2}}{2 σ^{2}})

$K(x_i,x_j)=\exp\left(-\frac{||x_i-x_j||^2}{2\sigma^2}\right)$

w^{*} = \sum_{i \in S V} h_{i} y_{i} x_{i}

$w^*=\sum_{i \in SV} h_i y_i x_i$

b^{*} = \frac{1}{| S V |} \sum_{i \in S V} (y_{i} - \sum_{j = 1}^{N} (h_{j} y_{j} x_{j}^{T} x_{i}))

$b^*=\frac{1}{|SV|}\sum_{i \in SV}\left(y_i - \sum_{j=1}^N\left(h_j y_j x_j^T x_i\right)\right)$

x

$x$

y

$y$

y_{i} \in {- 1, 1}

$y_i \in \{-1,1\}$

h

$h$ はラグランジュ係数で、はサポートベクトルのセットです。その後、と単独で使用して簡単に分類できます：。

S V

$SV$

w^{*}

$w^*$

b^{*}

$b^*$

c_{x} = sign (w^{T} x + b)

$c_x=\text{sign}(w^Tx+b)$

しかし、RBFカーネルではそのようなことはできないと思います。示唆するいくつかの資料を見つけました。それなら簡単でしょう。それにもかかわらず、私はこのカーネルにそのような分解が存在するとは考えておらず、どこにも言及されていません。分類にはすべてのサポートベクターが必要な状況ですか？もしそうなら、その場合どのように分類しますか？ $K(x,y)=\phi(x)\phi(y)$

— ヤン・ハダチェク
ソース

ない完全な答えが、私はユニでこれらのスライドを持っていた：patterns.enm.bris.ac.uk/files/lecture10-2010.pdf

— トリスタン

してみましょうスペースあなたのデータポイントが存在する。すなわち、あなたの入力空間を表します。関数を考えて、入力スペースからポイントを、ポイントにマッピングするようにします。ここで、すべてのデータポイントをからこの新しいスペースマッピングしたとしましょう。ここで、通常の線形svm をではなく、この新しい空間解こうとすると、すべての点が $\mathcal{X}$ $\Phi:\mathcal{X} \rightarrow \mathcal{F}$ $\mathcal{X}$ $\mathcal{F}$ $\mathcal{X}$ $\mathcal{F}$ $\mathcal{F}$ $\mathcal{X}$ $x_i$ $\Phi(x_i)$ そして、ユークリッド空間の自然な内積である（ドット積）を使用する代わりに、新しい空間での自然な内積を表すに置き換えます。つまり、最後に、は次のようになります。 $x^Ty$ $\langle \Phi(x), \Phi(y) \rangle$ $\mathcal{F}$ $w^*$

w^{*} = \sum_{i \in S V} h_{i} y_{i} Φ (x_{i})

$w^*=\sum_{i \in SV} h_i y_i \Phi(x_i)$

したがって、

⟨ w^{*}, Φ (x) ⟩ = \sum_{i \in S V} h_{i} y_{i} ⟨ Φ (x_{i}), Φ (x) ⟩

$\langle w^*, \Phi(x) \rangle = \sum_{i \in SV} h_i y_i \langle \Phi(x_i), \Phi(x) \rangle$

同様に、

b^{*} = \frac{1}{| S V |} \sum_{i \in S V} (y_{i} - \sum_{j = 1}^{N} (h_{j} y_{j} ⟨ Φ (x_{j}), Φ (x_{i}) ⟩))

$b^*=\frac{1}{|SV|}\sum_{i \in SV}\left(y_i - \sum_{j=1}^N\left(h_j y_j \langle \Phi(x_j), \Phi(x_i)\rangle\right)\right)$

分類規則は次のようになります：。 $c_x=\text{sign}(\langle w, \Phi(x) \rangle+b)$

これまでのところ、通常の線形SVMを単に別の空間に適用しただけなので、何も新しいことはありません。しかし、魔法の部分はこれです-

ような関数が存在するとします。次に、上記のすべてのドット積を置き換えることができます。このようなはカーネル関数と呼ばれます。 $k:\mathcal{X}\times\mathcal{X}\rightarrow \mathbb{R}$ $k(x_i, x_j) = \langle \Phi(x_i), \Phi(x_j) \rangle$ $k(x_i, x_j)$ $k$

したがって、とは、 $w^*$ $b^*$

⟨ w^{*}, Φ (x) ⟩ = \sum_{i \in S V} h_{i} y_{i} k (x_{i}, x)

$\langle w^*, \Phi(x) \rangle = \sum_{i \in SV} h_i y_i k(x_i, x)$

b^{*} = \frac{1}{| S V |} \sum_{i \in S V} (y_{i} - \sum_{j = 1}^{N} (h_{j} y_{j} k (x_{j}, x_{i})))

$b^*=\frac{1}{|SV|}\sum_{i \in SV}\left(y_i - \sum_{j=1}^N\left(h_j y_j k(x_j, x_i)\right)\right)$

上記の置換はどのカーネル関数に対して有効ですか？まあ、それは少し複雑な質問であり、それらの影響を理解するために適切な読み物を取り上げることができます。ただし、RBFカーネルについても上記のことが当てはまることを付け加えておきます。

あなたの質問に答えるために、「分類にはすべてのサポートベクトルが必要な状況ですか？」はい。上記のように、明示的に計算する代わりに、と内積を計算します。これにより、分類のためにすべてのサポートベクトルを保持する必要があります。 $w$ $x$ $w$

注：ここの最後のセクションのは、スペースではなく、スペースではなく、SVMの双対の解決策です。つまり、関数を明示的に知る必要があるということですか？幸いなことに、違います。二重目的を見ると、内積のみで構成されており、内積を直接計算できるあるため、明示的に知る必要はありません。双対目的、単純に次のように $h_i$ $\mathcal{F}$ $\mathcal{X}$ $\Phi$ $k$ $\Phi$

max \sum_{i} h_{i} - \sum_{i, j} y_{i} y_{j} h_{i} h_{j} k (x_{i}, x_{j}) subject to : \sum_{i} y_{i} h_{i} = 0, h_{i} \geq 0

$\max \sum_i h_i - \sum_{i,j} y_i y_j h_i h_j k(x_i, x_j) \\ \text{subject to : } \sum_i y_i h_i = 0, h_i \geq 0$

— テナリラマン
ソース

@JanHadáčekどういたしまして！私の答えが理解できることを知ってよかった、それが凝縮されすぎているのではないかと心配していました:-)

— TenaliRaman

とても良い説明

— ロンドンの男