カーネル化されたSVMでGradient Descentは可能ですか（可能であれば、なぜ人々は2次プログラミングを使用するのですか）

21

カーネル化されたSVMを扱うときに、なぜ人々は2次計画法（SMOなど）を使用するのですか？Gradient Descentの何が問題になっていますか？カーネルで使用することは不可能ですか、それとも遅すぎますか（およびその理由）。

ここにもう少しコンテキストがあります：SVMをもう少しよく理解しようとして、私は次のコスト関数を使用して線形SVM分類器を訓練するために勾配降下を使用しました：

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

私は次の表記法を使用しています：

$\mathbf{w}$ はモデルの特徴の重みであり、はそのバイアスパラメーターです。 $b$
$\mathbf{x}^{(i)}$ は、トレーニングインスタンスの特徴ベクトルです。 $i^\text{th}$
$y^{(i)}$ は、インスタンスのターゲットクラス（-1または1）です。 $i^\text{th}$
$m$ はトレーニングインスタンスの数です。
$C$ は正則化ハイパーパラメーターです。

この方程式から（およびに関して）（サブ）勾配ベクトルを導き出しましたが、勾配降下はうまく機能しました。 $\mathbf{w}$ $b$

ここで、非線形問題に取り組みたいと思います。コスト関数ですべてのドット積をに置き換えることができますはカーネル関数です（たとえば、ガウスRBF、）、計算を使用して導出（サブ）勾配ベクトルと勾配降下を進めますか？ $\mathbf{u}^t \cdot \mathbf{v}$ $K(\mathbf{u}, \mathbf{v})$ $K$ $K(\mathbf{u}, \mathbf{v}) = e^{-\gamma \|\mathbf{u} - \mathbf{v}\|^2}$

遅すぎる場合、それはなぜですか？コスト関数は凸型ではありませんか？それとも、勾配の変化が速すぎて（リプシッツ連続ではない）、降下中にアルゴリズムが谷間をジャンプし続けるため、収束が非常に遅いためですか？しかし、それでも、二次計画法の時間の複雑さであるよりも悪化する可能性はあり $O({n_\text{samples}}^2 \times n_\text{features})$ ますか？極小の問題であれば、アニーリングをシミュレートしたストキャスティックGDはそれらを克服できませんか？

svm kernel-trick gradient-descent

— ミニクォーク
ソース

6

セットよう及び、および、ここでは元の入力行列のマッピング、。これにより、基本定式化によりSVMを解くことができます。損失の表記を使用して： $\mathbf w = \phi(\mathbf x)\cdot \mathbf u$ $\mathbf w^t \phi(\mathbf x)=\mathbf u^t \cdot \mathbf K$ $\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ $\mathbf K = \phi(\mathbf x)^t\phi(\mathbf x)$ $\phi(x)$ $\mathbf x$

J (w, b) = C \sum_{i = 1}^{m} m a x (0, 1 - y^{(i)} (u^{t} \cdot K^{(i)} + b)) + \frac{1}{2} u^{t} \cdot K \cdot u

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{u}^t \cdot \mathbf{K}^{(i)} + b)\right)} + \dfrac{1}{2} \mathbf{u}^t \cdot \mathbf{K} \cdot \mathbf{u}$

$\mathbf{K}$ は行列で、は行列です。どちらも無限ではありません。 $m \times m$ $\mathbf{u}$ $m \times 1$

実際、双対は通常、解くのが速いですが、主解には近似解などの利点もあります（双対定式化では保証されません）。

さて、なぜデュアルがそれほど顕著であるのかはまったく明らかではありません：[1]

過去10年間の研究のほとんどが二重最適化に関するものであった歴史的理由は不明です。これは、SVMがハードマージン定式化で最初に導入されたためであると考えられています[Boser et al。、1992]。このため、二重最適化（制約のため）がより自然に思えます。ただし、一般に、トレーニングデータが分離可能であっても、ソフトマージンSVMを優先する必要があります。より多くのトレーニングポイントが考慮されるため、決定境界はより堅牢になります[Chapelle et al。、2000]

Chapelle（2007）は、主最適化と双対最適化の両方の時間の複雑さが、最悪の場合は、しかし、彼らは二次および近似ヒンジ損失を分析したので、適切なヒンジ損失ではありません。これは、ニュートン法で使用するのに微分できないためです。 $\mathcal{O}\left(nn_{sv} + n_{sv}^3\right)$ $\mathcal{O}\left(n^3\right)$

_{[1] Chapelle、O.（2007）。プライマルでのサポートベクターマシンのトレーニング。ニューラル計算、19（5）、1155-1178。}

— ファイアバグ
ソース

1

+1時間の複雑さについても拡張できますか？

— seanv507

@ seanv507ありがとう、確かに私はそれに対処すべきだった、私はすぐにこの答えを更新します。

— Firebug

4

変換をすべての入力重みベクトル（）に適用すると、次のコスト関数が得られます。 $\phi$ $\mathbf{x}^{(i)}$

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

カーネルトリックは、を置き換えます。重みベクトルので、されていない形質転換、カーネルトリックは、上記コスト関数に適用することができません。 $\phi(\mathbf{u})^t \cdot \phi(\mathbf{v})$ $K(\mathbf{u}, \mathbf{v})$ $\mathbf{w}$

上記のコスト関数は、SVM目標の主形式に対応します。

$\underset{\mathbf{w}, b, \mathbf{\zeta}}\min{C \sum\limits_{i=1}^m{\zeta^{(i)}} + \dfrac{1}{2}\mathbf{w}^t \cdot \mathbf{w}}$

対象そして用の $y^{(i)}(\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b) \ge 1 - \zeta^{(i)})$ $\zeta^{(i)} \ge 0$ $i=1, \cdots, m$

デュアル形式は次のとおりです。

$\underset{\mathbf{\alpha}}\min{\dfrac{1}{2}\mathbf{\alpha}^t \cdot \mathbf{Q} \cdot \mathbf{\alpha} - \mathbf{1}^t \cdot \mathbf{\alpha}}$

対象とのために $\mathbf{y}^t \cdot \mathbf{\alpha} = 0$ $0 \le \alpha_i \le C$ $i = 1, 2, \cdots, m$

ここで、は1でいっぱいのベクトルで、は要素もつ行列です。。 $\mathbf{1}$ $\mathbf{Q}$ $m \times m$ $Q_{ij} = y^{(i)} y^{(j)} \phi(\mathbf{x}^{(i)})^t \cdot \phi(\mathbf{x}^{(j)})$

ように計算することで、カーネルトリックを使用できます。 $Q_{ij}$

$Q_{ij} = y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)})$

そのため、カーネルトリックは、SVM問題の二重形式（およびロジスティック回帰などの他のアルゴリズム）でのみ使用できます。

既製の2次プログラミングライブラリを使用してこの問題を解決するか、ラグランジュ乗数を使用して制約のない関数（デュアルコスト関数）を取得し、勾配降下法またはその他の最適化手法を使用して最小値を検索できます。最も効率的なアプローチの1つは、libsvmライブラリによって実装されるSMOアルゴリズム（カーネル化されたSVM用）のようです。

— ミニクォーク
ソース

1

なぜコミュニティWikiに回答をマークしたのかわかりません。これはあなたの質問に対する完全に有効な答えのようです。

— シコラックスは、モニカ

@GeneralAbrialに感謝します。質問をする前に答えを知っているという疑念を避けるために、私は自分の答えをコミュニティWikiとしてマークしました。

— MiniQuark

1

あなたは常に自分が正しいと思うことをするべきですが、自分の質問をして答えることは完全にコーシャです。

— シコラックスは、モニカの復活を

ウェイトベクトルを変換できなかったので、およびで、で、サンプルの重みを最適化？

w = ϕ (x) \cdot u

$\mathbf w = \phi(x)\cdot \mathbf u$

w^{t} ϕ (x) = u \cdot K

$\mathbf w^t \phi(x)=\mathbf u \cdot \mathbf K$

w^{t} w = u^{t} K u

$\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$

K = ϕ^{t} ϕ

$\mathbf K = \phi^t\phi$

u

$\mathbf u$

— Firebug

2

私は間違っているかもしれませんが、二重問題に変えずにドット製品をカーネルに置き換える方法はわかりません。

カーネルは、がなるいくつかの機能空間に暗黙的に入力をマッピングし、損失関数はガウスカーネルが適用される場合、はifiniteを持ちます。次元なので、同様です。 $x$ $\phi(x)$
$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$
$\phi(\mathbf{x}^{(i)})$ $\mathbf{w}$

勾配降下法を直接使用して、無限次元のベクトルを最適化することは難しいようです。

Firebugの答えを更新すると、ドット積を主定式のカーネルに置き換える方法がわかります。

— ドンルー
ソース