PlattのSMOアルゴリズム（SVM用）で教えてください

_{（ソース：postimg.org）}

線形カーネルを使用していると仮定すると、最初の内積と2番目の内積の両方をどのように取得できますか？

私の推測では、方程式の最初の内積についてはクラスAとラベル付けされたデータポイントjのデータポイントの内積と、2番目の内積についてはクラスBとラベル付けされたデータポイントのデータポイントjとの内積ですか？

svm

あなたの理解は正しいです。ポイントは、その方程式（8）

y_{私} （ < w 、 φ_{私} > + b ） - 1 = 0

$y_i(<\textbf{w}, \phi_i> + b) - 1 = 0$ は厳密には方程式ではなく、それぞれに1つの方程式系です

i

$i$ サポートベクターのインデックス（それぞれのサポートベクター）

0 < α_{i} < C

$0<\alpha_i<C$ 。

ポイントはあなたが計算できないことです $b$ 最適化には関係ないので、二重問題の最適化中に、戻って計算する必要があります $b$ あなたが持っている他のすべての方程式から（1つの可能な方法は（8）です）。

バプニックの提案は、これらの方程式の1つだけではなく2つを使用することです。具体的には、負の観測用に1つのサポートベクトルと正の観測用の1つのサポートベクトルを使用します。言い換えれば、反対の符号を持つ2つのサポートベクトル $y_i$ 。

名前をつけよう $A$ 1つのサポートベクトルのインデックスと $B$ 反対側のサポートベクトルのインデックス。基本的には（8）の連立方程式から2つだけ選択します。それらの両方を評価し、平均を取る。

から：

y_{あ} （ < w 、 φ_{あ} > + b ） = 1

$y_A(<\textbf{w},\phi_A>+b)=1$

y_{B} （ < w 、 φ_{B} > + b ） = 1

$y_B(<\textbf{w}, \phi_B>+b)=1$ 我々が得る：

b_{あ} = \frac{1}{y_{あ}} - < w 、 φ_{あ} >

$b_A=\frac{1}{y_A}-<\textbf{w},\phi_A>$

b_{B} = \frac{1}{y_{B}} - < w 、 φ_{B} >

$b_B=\frac{1}{y_B}-<\textbf{w},\phi_B>$ どこ

b_{A}

$b_A$ そして

b_{B}

$b_B$ 2つの推定であり、平均は

b = （ b_{あ} + b_{B} ） / 2 = - \frac{1}{2} （ < w 、 φ_{あ} > + < w 、 φ_{B} > ） = - \frac{1}{2} Σ_{私 = 1}^{ん} y_{私} α_{私} （ < φ （ {バツ}_{私} ） 、 φ （ {バツ}_{あ} ） > + < φ （ {バツ}_{私} ） 、 φ （ {バツ}_{B} ） > ）

$b = (b_A+b_B)/2 = -\frac{1}{2}(<\textbf{w},\phi_A>+<\textbf{w},\phi_B>)=-\frac{1}{2}\sum_{i=1}^{n}y_i\alpha_i(<\phi(x_i),\phi(x_A)>+<\phi(x_i),\phi(x_B)>)$

— ラパイオ
ソース