PythonでのSVMのラグランジュ係数の計算

Pythonで完全なSVM実装を記述しようとしていますが、ラグランジュ係数の計算にいくつか問題があります。

最初に、アルゴリズムから理解したことを言い換えて、正しいパスにいることを確認します。

もし$x_1, x_2, ..., x_n$、データセットであり$y_i \in \{-1, 1\}$のクラスラベルである$x_i$次いで、

$$\forall i, y_i(w^Tx_i + b) \geq 1$$

したがって、最適化問題を解決して

$\|w\|^2$

対象$y_i(w^Tx_i + b) \geq 1$

ラグランジュ係数に関して、これは、およびおよび最小化することをます：B α = （α 1、α 2、。。。α N）≠ 0 ≥ 0 L （α 、W 、B ）= $w$$b$$\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0$$\geq0$

$$L(\alpha, w, b) = \frac12 \|w\|^2 - \sum \alpha_i(y_i(w^Tx + b)-1)$$

今のでと\ FRAC {\部分L} {\部分B} = 0 \ Y_I \ alpha_i = 0 \和を意味L（\ alpha、w、b）= Q（\ alpha）= \ sum \ alpha_i-\ frac12 \ sum \ sum \ alpha_i \ alpha_j y_i y_j x_i ^ T x_jを制約付きで書き直すことができます\ alpha_i \ geq 0 \ \ text {and} \ \ sum \ alpha_i y_i = 0∂

$$\frac{\partial L}{\partial w}=0 \implies w=\sum \alpha_i y_i x_i$$ L （α 、W 、B ）= Q （α ）= Σ α I - $$\frac{\partial L}{\partial b}=0 \implies \sum y_i \alpha_i = 0$$ $$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j x_i^T x_j$$ $$\alpha_i \geq 0 \ \text{and} \ \sum \alpha_i y_i = 0$$

そこで、Pythonを使用して最適化の問題を解決しようとしています。私が見つけた唯一の無料パッケージはcvxoptと呼ばれています。

これを解決するためのいくつかの助けが欲しい、私はこれについての良い例を見つけることができなかった、そして理論を理解している間、それをコードに変換するのに苦労している（私は私がプログラミングの背景からより多く）。

ある時点でカーネルしかし、コードでこれを解決することに関してどのような影響があるのか​​はません。

$$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j K(x_i,x_j)$$

どんな助けでも大歓迎です、私はこれをPythonに実装する方法で本当に迷っています。最適化問題を解決するためのより良いモジュールがある場合は、それについても読みたいと思います。

以前はcvxoptを使用してSVMを実装しましたが、MATLABではPythonではありません。それが十分に効率的かどうかは、それを何に使用するかに依存するので、間違いなくあなたの目的に役立ちます。最も効率的なSVMはQPソルバーパッケージを使用せず、SVMに固有のいくつかの最適化を利用します。多くの場合、SMOスタイルのアルゴリズムを使用して解決します。

LibSVMは、トレーニングサポートベクターマシンの2次情報を使用したワーキングセット選択のアルゴリズムを使用するSVMパッケージです。コードがどのように実装されているかを知りたい場合は、コードはオープンソースです。また、Pythonインターフェースも備えています。

SVMLightは別のパッケージで、別のアルゴリズムを使用しています（参照についてはサイトを参照してください）。また、オープンソースであり、Pythonインターフェイスを備えています。

カーネルトリックを使用しているか線形カーネルを使用しているかに関係なく、最適化問題の一般的な形式は2次プログラムです。それはあなたがやろうとしていることには十分だと思われますが、ここにある他のpythonautsもOpenOptで運がありました。 cvxopt