SVMでの超平面からの距離の解釈

SVMを直感的に理解することにはいくつか疑問があります。SVMLightやLibSVMなどの標準ツールを使用して、分類用のSVMモデルをトレーニングしたとします。

1. このモデルをテストデータの予測に使用すると、モデルは各テストポイントの「アルファ」値を持つファイルを生成します。アルファ値が正の場合、テストポイントはクラス1に属し、そうでない場合はクラス2に属します。「アルファ」値が大きいテストポイントは、「高い」確率で対応するクラスに属すると言えますか。

2. 最初の質問と同様に、SVMのトレーニングを受けています。SVは超平面の非常に近くにあります。それは、SVがそのクラスに高い確率で属することを意味しますか？クラスに属するポイントの確率を、「超平面」からの距離と関連付けることができますか？「アルファ」値は「超平面」からの距離を表しますか？

ご意見ありがとうございます。

‖ W ‖ 2 2 W P （W |（Y 1、xは1）、。。。、（Y 、M、XのM））α 1 / ZのEXP （- ‖ W ‖ 2 2）$\sum_i \|y_i - \langle w, x_i\rangle - b\|_2^2$$\|w\|_2^2$$w$W $p(w|(y_1,x_1),...,(y_m,x_m)) \propto 1/Z \exp(-\|w\|_2^2)\prod_i \exp(\|y_i - \langle w, x_i\rangle - b\|_2^2)$$w$$Z$確実に正規化します）。符号を反転して累乗することにより、損失関数からガウス尤度を取得します。ただし、SVMの損失関数を使用してこれを行う場合、対数尤度は正規化可能な確率モデルではありません。

SVMを1つにしようとする試みがあります。最も注目すべきは、それがlibsvmでも実装されていると思います：

John Platt：サポートベクターマシンの確率的出力と正則化尤度法との比較（NIPS 1999）：http ://www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/papers/Platt1999.pdf

より具体的に質問に答えるには：SVMのアイデアは、実際、テストベクトルがハイパープレーンから離れるほど、特定のクラスに属するということです（もちろん、間違った側にある場合を除く）。その意味では、サポートベクトルは、超平面の最も近い側または間違った側にあるため、サポートベクトルは高い確率でクラスに属しません。あなたはLIBSVMから取得した値は、とは何の関係もありません決定関数では。むしろ、決定関数（したがって、適切にと呼ぶ必要があります）。以来、ここで$\alpha$$\alpha$$\sum_{i \in SV}\alpha_i k(x,x_i) + b$$y$$y = \sum_{i \in SV}\alpha_i k(x,x_i) + b = \langle w, \phi(x) \rangle_{\mathcal H} + b$$w$は再生カーネルヒルベルト空間に存在し、は超平面までの符号付き距離に比例します。カーネルの用語でであるのノルムで除算すると、。$y$$w$$\|w\|_{H} = \sqrt{\sum_{i,j\in SV} \alpha_i \alpha_j k(x_i,x_j)}$