正確にはどこに

私は、SVMが（カーネルトリックのない）バイナリの線形分類器であることを理解しました。彼らはトレーニングデータを持っています$(x_i, y_i)$ どこ $x_i$ ベクトルであり、 $y_i \in \{-1, 1\}$クラスです。それらはバイナリ、線形分類子なので、タスクはラベルでデータポイントを分離する超平面を見つけることです$-1$ ラベル付きのデータポイントから $+1$。

今のところ、データポイントは線形分離可能であり、スラック変数は必要ないものとします。

これで、トレーニングの問題が次の最適化問題であることがわかりました。

• ${\min_{w, b} \frac{1}{2} \|w\|^2}$
• st $y_i ( \langle w, x_i \rangle + b) \geq 1$

私はそのminizmizingだと思うマージンを最大化手段（。しかし、私はそれが正方形がここにある理由を理解していないだろう何かの変更を1最小化しようとする場合？）。$\|w\|^2$$\|w\|$

また、は、モデルがトレーニングデータに対して正しい必要があることを意味することも理解しました。ただし、ではなくます。どうして？$y_i ( \langle w, x_i \rangle + b) \geq 0$$1$$0$

最初の問題：最小化または：$\|w\|$$\|w\|^2$

マージンを最大化したいのは正しいことです。これは実際には最大化することによって行われます。これは「正しい」方法ですが、かなり不便です。は定数なので、まずドロップします。今、もしで最大の、できるだけ小さくする必要があります。したがって、最小化することで、同じ解決策を見つけることができます。$\frac{2}{\|w\|}$$2$$\frac{1}{\|w\|}$$\|w\|$ $\|w\|$

$\|w\|$で計算できます。平方根は単調関数であるように、任意の点最大限も最大にする。したがって、この点を見つけるために平方根を計算する必要はなく、を最小化できます。$\sqrt{w^T w}$$x$$\sqrt{f(x)}$$f(x)$$x$$w^T w = \|w\|^2$

最後に、導関数を計算する必要があることが多いため、式全体に係数を掛けます。、つまりを導出すると、これは非常に頻繁に行われます。これが問題の原因です。最小化するにはます。$\frac{1}{2}$$\frac{d}{dx} x^2 = 2 x$$\frac{d}{dx} \frac{1}{2} x^2 = x$$\frac{1}{2} \|w\|^2$

tl; dr：はい、最小化します代わりにが機能します。$\|w\|$$\frac{1}{2} \|w\|^2$

2番目の問題： または：$\geq 0$$\geq 1$

質問ですでに述べたように、は、点が超平面の正しい側になければならないことを意味します。しかし、これだけでは十分ではありません。点を少なくともマージンと同じくらい遠くにしたい（その場合、点はサポートベクトルです）か、さらに遠くにしたいです。$y_i \left( \langle w,x_i \rangle + b \right) \geq 0$

超平面の定義を思い出してください、

$\mathcal{H} = \{ x \mid \langle w,x \rangle + b = 0\}$。

ただし、この説明は一意ではありませんとを定数でスケーリングすると、この超平面の同等の説明が得られます。私たちの最適化アルゴリズムがとを一定の係数でスケーリングしてより高いマージンを取得することを確実にするために、超平面からのサポートベクトルの距離は常にと定義します。つまり、マージンは。したがって、サポートベクトルはによって特徴付けられます。$w$$b$$c$$w$$b$$1$$\frac{1}{\|w\|}$$y_i \left( \langle w,x_i \rangle + b \right) = 1$

すでに前述したように、すべての点をサポートベクトルにするか、超平面からさらに遠ざけます。したがって、トレーニングでは、制約を追加します。これにより、正確にそれが保証されます。$y_i \left( \langle w,x_i \rangle + b \right) \geq 1$

tl; dr：トレーニングポイントは正しい必要があるだけでなく、マージン上またはさらに離れている必要があります。