SVMをフィッティングするときに二重の問題に悩まされるのはなぜですか？

与えられたデータ点はとラベルY 1、... 、Y N ∈ { - 1 、1 }、ハードマージンSVMプライマル問題です$x_1, \ldots, x_n \in \mathbb{R}^d$$y_1, \ldots, y_n \in \left \{-1, 1 \right\}$

$$\text{minimize}_{w, w_0} \quad \frac{1}{2} w^T w$$ $$\text{s.t.} \quad \forall i: y_i (w^T x_i + w_0) \ge 1$$

これは、i制約に対して最適化される変数を含む2次プログラムです。デュアル$d+1$$i$

$$\text{maximize}_{\alpha} \quad \sum_{i=1}^{n}{\alpha_i} - \frac{1}{2}\sum_{i=1}^{n}{\sum_{j=1}^{n}{y_i y_j \alpha_i \alpha_j x_i^T x_j}}$$ と次のプログラムである N + 1つのために最適化すべき変数と N不等式及び nは等式制約。 $$\text{s.t.} \quad \forall i: \alpha_i \ge 0 \land \sum_{i=1}^{n}{y_i \alpha_i} = 0$$ $n + 1$$n$$n$

ハードマージンSVMを実装するとき、なぜ主問題の代わりに二重問題を解決するのですか？根本的な問題は私にとってより「直観的」に見え、二元性のギャップ、Kuhn-Tuckerの状態などについて心配する必要はありません。

それは場合は、二重の問題を解決するために私には理にかなってが、私はより良い理由があると思います。これは事実ですか？$d \gg n$

@ user765195の回答で参照されている講義ノートに基づいて（ありがとう！）、最も明白な理由は次のように思われます：

$w$$\alpha_i$$x$$w^Tx$$d$

$\alpha_i$$\alpha_i = 0$$x$

$$w^Tx + w_0 = \left(\sum_{i=1}^{n}{\alpha_i y_i x_i} \right)^T x + w_0 = \sum_{i=1}^{n}{\alpha_i y_i \langle x_i, x \rangle} + w_0$$

サポート項が少ない場合、この項は非常に効率的に計算されます。さらに、データベクトルのみを含むスカラー積があるため、カーネルトリックを適用できます。

13ページの2番目の段落と、これらのメモでそれを進める議論を読んでください。

http://cs229.stanford.edu/notes/cs229-notes3.pdf

デュアル最適化が数値最適化の観点から魅力的である理由の1つを次に示します。詳細については、次のペーパーを参照してください。

Hsieh、C.-J.、Chang、K.-W.、Lin、C.-J.、Keerthi、SS、and Sundararajan、S.、「大規模線形SVMのデュアル座標降下法」、Proceedings of the第25回機械学習に関する国際会議、ヘルシンキ、2008年。

二重定式化には、単一のアフィン等式制約とn個の境界制約が含まれます。

1.アフィン等式制約は、二重定式化から「排除」できます。

これは、R ^（d + 1）にR ^ dを埋め込むことで、R ^（d + 1）のデータを見るだけで、各データポイントに単一の "1"座標を追加することで、R ^ d ----> R ^（d + 1）：（a1、...、ad）| --->（a1、...、ad、1）。

トレーニングセットのすべてのポイントに対してこれを行うと、R ^（d + 1）の線形分離性問題が再生成され、分類器から定数項w0が削除され、双対からアフィン等式制約が削除されます。

2.ポイント1により、双対は、制約が束縛制約のみである凸二次最適化問題として簡単にキャストできます。

3.双対問題は、O（log（1 / epsilon））でイプシロン最適解を生成する双対座標降下アルゴリズムを介して効率的に解決できるようになりました。

これは、1つを除くすべてのアルファを修正すると、閉じた形式のソリューションが得られることに注意することによって行われます。次に、すべてのアルファを1つずつ循環させます（たとえば、ランダムに1つを選択し、他のすべてのアルファを修正し、閉形式解を計算します）。このようにして、「最適な状態に近い」ソリューションを「かなり早く」取得できることを示すことができます（前述の論文の定理1を参照）。

二重問題が最適化の観点から魅力的である理由は他にもたくさんあります。アフィン等式制約が1つしかないという事実を活用するものもあります（remaing制約はすべて束縛された制約です）。二重問題の「ほとんどのアルファ」はゼロです（サポートベクトルに対応するゼロ以外のアルファ）。

Computational Learning Workshop（2009）でのStephen Wrightのプレゼンテーションから、SVMの数値最適化に関する考慮事項の概要を把握できます。

PS：私はここに新しいです。このウェブサイトで数学表記を使用するのが得意ではないことをおApびします。

Andrew ngの講義ノートでの私の意見では、1 // || w ||の主な問題は凸でない問題であることが明確に言及されました。双対は凸問題であり、常に最適な凸関数を見つけるのは簡単です。