11

SVMの最適な超平面は次のように定義されます。

w \cdot x + b = 0,

$\mathbf w \cdot \mathbf x+b=0,$

ここで、はしきい値を表します。我々はいくつかのマッピングがある場合はいくつかのスペースに入力スペースをマップ、私たちは宇宙にSVMを定義することができ最適hiperplaneはなります： $b$ $\mathbf \phi$ $Z$ $Z$

w \cdot ϕ (x) + b = 0.

$\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0.$

しかし、我々は常にマッピング定義することができるように、、、その後最適hiperplaneのように定義される $\phi$ $\phi_0(\mathbf x)=1$ $\forall \mathbf x$

w \cdot ϕ (x) = 0.

$\mathbf w \cdot \mathbf \phi(\mathbf x)=0.$

質問：

なぜ、多くの論文を使用、彼らはすでにマッピングしていたときにと推定パラメータとtheshold separatellyを？ $\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0$ $\phi$ $\mathbf w$ $b$
SVMを定義するためのいくつかの問題があるのみベクトルパラメータ推定、我々が定義すると仮定し、？
$min_{w} | | w | |^{2}$ $\min_{\mathbf w} ||\mathbf w ||^2$ $s . t . y_{n} w \cdot ϕ (x_{n}) \geq 1, \forall n$ $s.t. \ y_n \mathbf w \cdot \mathbf \phi(\mathbf x_n) \geq 1, \forall n$ $\mathbf w$ $\phi_0(\mathbf x)=1, \forall\mathbf x$
$\mathbf w = \sum_{n} y_n\alpha_n \phi(\mathbf x_n)$ $b=w_0$ $b=t_n-\mathbf w\cdot \phi(\mathbf x_n)$ $b$ $x_n$

svm threshold

— デジャン
ソース

関連：回帰でバイアス（切片）項を縮小しない理由。

— amoebaは、モニカ

12

バイアスが重要なのはなぜですか？

$b$

以下は、バイアスの問題を視覚化したものです。バイアス項を使用して（使用せずに）トレーニングしたSVMを左側（右側）に示します。ただし、両方のSVMは同じデータでトレーニングされますが、見た目は大きく異なります。

バイアスを個別に扱う必要があるのはなぜですか？

$b$ $\frac{1}{||w||^2}$ $\frac{2}{||w||^2}$

$||w||^2$

SVMのバイアス項は正則化しないでください。

ただし、実際には、バイアスを特別なケースとして扱う必要がなく、特徴ベクトルにプッシュする方が簡単です。

$\phi_0(x) = 10$

— ソビ
ソース

好奇心から、プロットを生成するためにどのプログラムを使用しましたか？

— d0rmLife

1

@ d0rmLife：これは、私がMS PowerPointを使用して作成した漫画です！

— ソビ

+1。関連：回帰でバイアス（切片）項を縮小しない理由。

— amoebaは、モニカ

1

時々、人々はSVMでインターセプトを単に省略するでしょうが、それを省略するためにインターセプトにペナルティを課すことができる理由を私は考える。つまり、

$\mathbf{\hat{x}} = (\mathbf{1}, \mathbf{x})$ $\mathbf{\hat{w}} = (w_{0}, \mathbf{w}^{T})^{T}$

x w + b = \hat{x} \hat{w}

$\mathbf{x} ~ \mathbf{w} + b = \mathbf{\hat{x}} ~ \mathbf{\hat{w}}$

ただし、切片を重みに入れると、目的関数は元の関数とわずかに異なります。それが「ペナルティ」と呼ばれる理由です。

— ベンダイ
ソース

b

$b$

min_{w, b} | | w | |^{2}

$\min_{\mathbf w,b} ||\mathbf w||^2$

min_{w, b} | | w | |^{2} + b^{2}

$\min_{\mathbf w,b} ||\mathbf w||^2 + b^2$

\sum α_{n} t_{n} = 0

$\sum \alpha_n t_n=0$

α_{n} \geq 0

$\alpha_n\geq 0$

@Petar私が知っていることの1つは、このモデルのデュアルフォームについて考えると、強力になることです。この手法は、線形制約を排除します。

— ベン・大

@Petarドメインが簡単になるため、デュアル最適化は難しくなるとは思いません。

— ベン・大

@Petar特定のアルゴリズムについては、より難しい場合があります。しかし、数学的に、私は多分、より良いボックスドメインを思う：）

— ベン・大

0

$x$ $\theta$ $b$

\frac{| θ^{T} x + b |}{| | θ | |}

$\frac{|\theta^T x + b|}{||\theta||}$

θ

$\theta$

b

$b$

θ

$\theta$

— charlieh_7
ソース

ポイントから超平面までの距離が正しく、説明が興味深いように見えても、この式とトレーニングSVMの相関関係はわかりません。この式がトレーニング中にどのように使用されているかを詳しく説明できますか、または追加のリンクを提供してください。

— Dejan

\frac{θ^{T} x + b}{| | θ | |}

$\frac{\theta^T x + b}{||\theta||}$

{- 1, 1}

$\{-1, 1\}$

\frac{y (θ^{T} x + b)}{| | θ | |}

$\frac{y(\theta^T x + b)}{||\theta||}$

\frac{1}{| | θ | |}

$\frac{1}{||\theta||}$

@DejanあなたはAndrew Ngのノートで詳細を見つけることができます：cs229.stanford.edu/notes/cs229-notes3.pdf

— charlieh_7

特徴ベクトルの余分な次元ではなく、SVMのバイアス項が個別に推定されるのはなぜですか？

バイアスが重要なのはなぜですか？

バイアスを個別に扱う必要があるのはなぜですか？