108

サポートベクターマシン（SVM）の仕組みと、線形パーセプトロン、線形判別分析、ロジスティック回帰などの他の線形分類器との違いは何ですか？*

（* アルゴリズム、最適化戦略、一般化機能、および実行時の複雑さの根本的な動機の観点から考えています）

— TDC
ソース

4

参照：stats.stackexchange.com/questions/3947/...

stats.stackexchange.com/questions/80398/…

126

サポートベクターマシンは、区別するのが最も難しいポイントにのみ焦点を当てていますが、他の分類器はすべてのポイントに注意を払っています。

サポートベクターマシンアプローチの背後にある直感は、分類器が最も難しい比較（図2で互いに最も近いBとAのポイント）に優れている場合、分類器は簡単な比較でさらに優れていることです（互いに離れているBとAのポイントを比較する）。

パーセプトロンと他の分類器：

パーセプトロンは、一度に1つのポイントを取得し、それに応じて分割線を調整することによって構築されます。すべてのポイントが分離されると、パーセプトロンアルゴリズムは停止します。しかし、それはどこでも停止する可能性があります。図1は、データを区切るさまざまな分割線があることを示しています。パーセプトロンの停止基準は単純です：「ポイントを分離し、100％分離されたらラインの改善を停止します」。パーセプトロンは、最適な分離線を見つけるように明示的に指示されていません。ロジスティック回帰および線形判別モデルは、パーセプトロンと同様に構築されます。

最適な分割線は、Aに最も近いBポイントとBに最も近いAポイント間の距離を最大化します。これを行うためにすべてのポイントを見る必要はありません。実際、遠くにあるポイントからのフィードバックを組み込むと、以下に示すように、ラインが少し離れすぎます。

ここに画像の説明を入力してください

サポートベクターマシン：

他の分類器とは異なり、サポートベクターマシンは、最適な分離線を見つけるように明示的に指示されます。どうやって？サポートベクターマシンは、「サポートベクター」と呼ばれる最も近いポイント（図2）を検索します（「サポートベクターマシン」という名前は、ポイントがベクターのようなものであり、最適な線が「依存する」またはは、最も近いポイントで「サポート」されています）。

最も近いポイントが見つかると、SVMはそれらを接続する線を描画します（図2の「w」というラベルの線を参照）。ベクトル減算（ポイントA-ポイントB）を行うことにより、この接続線を描画します。次に、サポートベクターマシンは、最適な分離線を、接続線を二等分する、つまり垂直な線として宣言します。

サポートベクターマシンは、新しいサンプル（新しいポイント）を取得するときに、BとAを可能な限り互いに離す線をすでに作成しているため、波及する可能性が低いため、より優れています。相手の領土への線。

ここに画像の説明を入力してください

私は自分自身を視覚的な学習者と考えており、サポートベクターマシンの背後にある直感に長い間苦労しました。SVM ClassifiersのDuality and Geometryと呼ばれる論文は、ついに光を見るのに役立ちました。そこで画像を取得しました。

— ライアン・ゾッティ
ソース

4

別の視覚学習者からの+1！読者のために、上図で明らかなこれらの境界は、既に変換されたデータセットに基づいていることに注意したいと思います。生データセットではありません。

— -Kingz

2年以上svmを読んで、今日は分離線がどのように識別されるかを理解し、さらにいくつかのことを理解しました。きれいな答えをありがとう。

— user123

53

Ryan Zottiの答えは、決定境界の最大化の背後にある動機を説明します。carlosdcの答えは、他の分類器との類似点と相違点を示します。この回答では、SVMのトレーニング方法と使用方法の数学的概要を簡単に説明します。

表記法

以下では、スカラーはイタリック体の小文字（例：）、ベクトルは太字の小文字（例：）、およびイタリック体の大文字（例：）。はとの転置です。 $y,\, b$ $\mathbf{w},\, \mathbf{x}$ $W$ $\mathbf{w^T}$ $\mathbf{w}$ $\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

させてください：

$\mathbf{x}$ は特徴ベクトル（つまり、SVMの入力）です。、ここでは特徴ベクトルの次元です。 $\mathbf{x} \in \mathbb{R}^n$ $n$
$y$ はクラス（つまり、SVMの出力）です。、つまり分類タスクはバイナリです。 $y \in \{ -1,1\}$
$\mathbf{w}$ とはSVMのパラメーターです。トレーニングセットを使用して学習する必要があります。 $b$
$(\mathbf{x}^{(i)}, y^{(i)})$ でありデータセット内のサンプル。トレーニングセットにサンプルがあると仮定します。 $i^ {\text {th}}$ $N$

では、以下のように、1は、SVMの決定境界を表すことができます。 $n=2$

クラスは次のように決定されます。 $y$

y^{(i)} = {\begin{cases} - 1 & if w^{T} x^{(i)} + b \leq - 1 \\ 1 & if w^{T} x^{(i)} + b \geq 1 \end{cases}

$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$

より簡潔に書くことができます。 $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

ゴール

SVMは、2つの要件を満たすことを目的としています。

SVMは、2つの決定境界間の距離を最大化する必要があります。数学的には、これはで定義される超平面と定義される超平面の間の距離を最大化することを意味します。この距離はと等しくなります。これは、を解くことを意味します。同様に、です。 $\mathbf{w^T}\mathbf{x}+b = -1$ $\mathbf{w^T}\mathbf{x}+b = 1$ $\frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$
SVMはすべてのも正しく分類する必要があります。つまり、 $\mathbf{x}^{(i)}$ $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

これは、次の2次最適化問題につながります。

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$

これはハードマージンSVMです。この2次最適化問題は、データが線形に分離可能である場合に解を認めるからです。

いわゆるスラック変数 導入することにより、制約を緩和できます。トレーニングセットの各サンプルには独自のスラック変数があることに注意してください。これにより、次の2次最適化問題が得られます。 $\xi^{(i)}$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

これがソフトマージンSVMです。は、エラー項のペナルティと呼ばれるハイパーパラメーターです。（線形カーネルを使用したSVMでのCの影響は？およびSVM最適パラメーターを決定するための検索範囲は？） $C$

元の特徴空間をより高次元の特徴空間にマッピングする関数を導入することにより、さらに柔軟性を追加できます。これにより、非線形の決定境界が可能になります。二次最適化の問題は次のようになります。 $\phi$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} ϕ (x^{(i)}) + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

最適化

二次最適化問題は、ラグランジュ双対問題と呼ばれる別の最適化問題に変換できます（前の問題はprimalと呼ばれます）。

\begin{aligned} max_{α} & min_{w, b} \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} α^{(i)} (1 - w^{T} ϕ (x^{(i)}) + b)), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

この最適化の問題は、（いくつかの勾配を設定することにより）単純化できます： $0$

\begin{aligned} max_{α} & \sum_{i = 1}^{N} α^{(i)} - \sum_{i = 1}^{N} \sum_{j = 1}^{N} (y^{(i)} α^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{(j)}) y^{(j)} α^{(j)}), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

$\mathbf{w}$ は（代表定理で述べられているように）。 $\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

したがって、トレーニングセットのを使用してを学習します。 $\alpha^{(i)}$ $(\mathbf{x}^{(i)}, y^{(i)})$

（FYI：SVMをフィッティングするときに二重の問題に悩まされるのはなぜですか？簡単な答え：より高速な計算+カーネルトリックの使用が可能になります。

予測をする

一旦学習され、一方が特徴ベクトルと新しいサンプルのクラスを予測することができる次のように $\alpha^{(i)}$ $\mathbf{x}^{\text {test}}$

\begin{aligned} y^{test} & = sign (w^{T} ϕ (x^{test}) + b) \\ = sign (\sum_{i = 1}^{N} α^{(i)} y^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{test}) + b) \end{aligned}

$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$

合計は、すべてのトレーニングサンプルを合計する必要があることを意味しますが、圧倒的多数のは（なぜSVMのラグランジュ乗数はまばらですか？）そのため、実際には問題になりません。（すべての特別なケースを構築できることに注意してください。）がサポートベクトルである場合、。上の図には3つのサポートベクターがあります。 $\sum_{i =1}^{N}$ $\alpha^{(i)}$ $0$ $\alpha^{{(i)}} > 0$ $\alpha^{{(i)}}=0$ $x^{{(i)}}$

カーネルトリック

最適化問題では、内積のみ使用されることがわかります。マッピング関数内積には、カーネルと呼ばれ、多くの場合示されます。 $\phi\left(\mathbf{x}^{(i)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $k$

内積の計算が効率的になるようにを選択できます。これにより、低い計算コストで潜在的に高い機能空間を使用できます。これはカーネルトリックと呼ばれます。カーネル関数を有効にする、つまりカーネルトリックで使用できるようにするには、2つの重要なプロパティを満たす必要があります。から選択する多くのカーネル関数が存在します。補足として、カーネルトリックは他の機械学習モデルに適用される場合があり、その場合はカーネル化されたと呼ばれます。 $k$

もっと遠く行く

SVMに関するいくつかの興味深いQA：

その他のリンク：

最小二乗サポートベクターマシン

参照：

{1}シャペル、オリヴィエ。「原初のサポートベクターマシンのトレーニング。」神経計算19、いいえ。5（2007）：1155-1178。https://scholar.google.com/scholar?cluster=469291847682573606&hl=en&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

— フランク・ダーノンクール
ソース

2

こんにちは、フランク、回答ありがとうございます。ベクトルがSVMが生成する超平面に直交する理由を説明していただけますか？そして、2つの決定境界間の距離をと等しくなるようにどのように計算しましたか

w

$w$

\frac{2}{‖ w ‖}

$\frac{2}{\lVert w \rVert}$

— tosik

3

この素晴らしい答えに加えて、SVMの背後にある数学について説明し、特に@tosikがコメントしたyoutube.com/watch?v=_PwhiWxHK8o

— ニコラスリーブル

とてもいい答えです。この部分に関しては、がサポートベクトルである場合に限り、ます。分類の場合、合計は事実上サポートベクトル（つまり、）上にあります。

α^{(i)} = 0

$\alpha^{{(i)}}=0$

x^{(i)}

$x^{{(i)}}$

α^{(i)} \geq 0

$\alpha^{{(i)}} \ge 0$

— 989

13

他の分類器との類似点と相違点に焦点を当てます。

パーセプトロンから：SVMはヒンジ損失とL2正則化を使用し、パーセプトロンはパーセプトロン損失を使用し、正則化に早期停止（または他の手法の中で）を使用できます。パーセプトロンには正則化の用語はありません。正則化の用語がないため、パーセプトロンはオーバートレーニングされることになります。したがって、一般化機能はthe意的に悪い場合があります。最適化は確率的勾配降下法を使用して行われるため、非常に高速です。良い面として、このペーパーは、わずかに修正された損失関数で早期停止を行うことにより、パフォーマンスがSVMと同等になる可能性があることを示しています。
ロジスティック回帰から：ロジスティック回帰はロジスティック損失項を使用し、L1またはL2正則化を使用できます。ロジスティック回帰は、生成的ナイーブベイの差別的な兄弟と考えることができます。
LDAから：LDAは生成アルゴリズムと見なすこともでき、確率密度関数（p（x | y = 0）およびp（x | y = 1）が正規分布していると仮定します。これは、データがただし、「トレーニング」には大きな行列の反転が必要になるという欠点があります（多くの機能がある場合）。ホモセダスティック性の下では、LDAはQDAになり、正規分布データに最適なベイズになります。前提は満たされているので、これ以上のことはできません。

実行時（テスト時）にモデルがトレーニングされると、これらすべての方法の複雑さは同じになります。これは、トレーニング手順で見つかった超平面とデータポイント間の単なる内積です。

— carlosdc
ソース

1

あなたはSVMに非常に有能であるように見えるので、疑問を明確にするようお願いします。最高の分離超平面を見つけたら、それを何に使うのでしょうか？SVMは、最初にデータポイントを正しく分類するために最適な超平面を選択し、次に、この超平面を使用して2つのクラスの新しいデータポイントを切断する方法として定義できます。右？（私は2番目の部分にいくつかの疑いがある）

— DavideChicco.it

1

@ DavideChicco.itはい、インディケーター関数を使用して新しいデータを分類できます。これは多くの場合、分類器の主な目的です。（しかし、これについて私の言葉を受け取らないでください、私はそれのすべてに新しいです）。

— キーサー

12

この手法は、可能な限り最初の正と負の例に十分なマージンを残して、決定境界線を引くことに基づいています。

上の図のように、ような直交ベクトルを選択すると、未知の例決定基準を確立して、形式の正としてカタログ化できます。 $\lVert w \rVert=1$ $\mathbf u$

w \cdot u \geq C

$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$

通りの中央の決定線を超えて投影を配置する値に対応します。その気付く。 $\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

陽性サンプルの等価条件は次のとおりです。

\begin{matrix} (1) & w \cdot u + b \geq 0 \end{matrix}

$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$

$C = - b.$

私たちは、必要なおよび決定ルールを持つこと、そしてそこに私たちに必要な取得するために制約を。 $b$ $\color{blue}{\mathbf w}$

第1の制約我々は課すしようとしているが、その任意の正のサンプルのため、。そして陰性サンプルについて、。分割境界または超平面（中央値）では、値はになりますが、側溝の値はおよびます。 $\mathbf x_+,$ $\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$ $\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$ $0$ $1$ $-1$

ベクトルは重みベクトルであり、はバイアスです。 $\bf w$ $b$

これら2つの不等式をまとめるために、変数導入して、正の例ではに、例が負の場合には、 $y_i$ $y_i=+1$ $y_i=-1$

y_{i} (x_{i} \cdot w + b) - 1 \geq 0.

$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$

だから我々は、これがゼロよりも大きくなければならないことを確立、しかし一例）はこの場合ラインには、意思決定超平面とサポートベクトルの先端間の分離のマージンを最大化する超平面（「ガター」）上にある場合、その後：

\begin{matrix} (2) & y_{i} (x_{i} \cdot w + b) - 1 = 0 \end{matrix}

$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$

これは、を要求することと同等であることに注意してください $y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

2番目の制約：決定超平面からサポートベクトルの先端までの距離が最大化されます。言い換えると、分離の余白（「ストリート」）が最大化されます。

決定境界に垂直な単位ベクトルを想定すると、2つの「境界」プラスとマイナスの例の差をもつドット積は、「通り」の幅になります。 $\mathbf w$

width = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖}

$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$

上記の方程式では、とは溝にあります（分離を最大化する超平面上）。したがって、正の例の場合：または ; そして負例えば：。したがって、通りの幅を再定式化する： $x_+$ $x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$ ${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$ ${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

\begin{aligned} width & = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖} \\ = \frac{x_{+} \cdot w - x_{-} \cdot w}{‖ w ‖} \\ = \frac{1 - b - (- 1 - b)}{‖ w ‖} \\ (3) & = \frac{2}{‖ w ‖} \end{aligned}

$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$

だから今、私たちはちょうど通りの幅を最大化しなければならない-つまり、最大限最小限、または最小化： $\frac{2}{\lVert w \rVert},$ $\lVert w \rVert$

\begin{matrix} (4) & \frac{1}{2} ‖ w ‖^{2} \end{matrix}

$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$

これは数学的に便利です。

だから私たちはしたい：

制約を使用してを最小化します。 $\lVert x\rVert^2$
$y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

いくつかの制約に基づいてこの式を最小化するため、ラグランジュ乗数が必要です（式2と4に戻ります）。

\begin{matrix} (5) & L = \frac{1}{2} ‖ w ‖^{2} - \sum λ_{i} [y_{i} (x_{i} \cdot w + b) - 1] \end{matrix}

$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$

差別化、

\frac{\partial L}{\partial w} = w - \sum λ_{i} y_{i} x_{i} = 0

$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$ 。

したがって、

\begin{matrix} (6) & w = \sum λ_{i} y_{i} x_{i} \end{matrix}

$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$

そして、に関して差別化する $b:$

\frac{\partial L}{\partial b} = - \sum λ_{i} y_{i} = 0,

$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$

これは、乗数とラベルのゼロサム積があることを意味します。

\begin{matrix} (7) & \sum λ_{i} y_{i} = 0 \end{matrix}

$\sum \lambda_i \, y_i = 0\tag 7$

式（6）を式（5）に戻すと、

L = \frac{1}{2} (\sum λ_{i} y_{i} x_{i}) (\sum λ_{j} y_{j} x_{j}) - (\sum λ_{i} y_{i} x_{i}) \cdot (\sum λ_{j} y_{j} x_{j}) - \sum λ_{i} y_{i} b + \sum λ_{i}

$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$

式（7）に従って、最後から2番目の項はゼロです。

したがって、

\begin{matrix} (8) & L = \sum λ_{i} - \frac{1}{2} \sum_{i} \sum_{j} λ_{i} λ_{j} y_{i} y_{j} x_{i} \cdot x_{j} \end{matrix}

$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$

式（8）は最後のラグランジアンです。

したがって、最適化は例のペアの内積に依存します。

上記の式（1）の「決定ルール」に戻り、式（6）を使用します。

\begin{matrix} (9) & \sum λ_{i} y_{i} x_{i} \cdot u + b \geq 0 \end{matrix}

$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$

新しいベクトルの最終決定ルールになります $\mathbf u.$

— アントニ・パレラダ
ソース

オリジナルはありません...もっとエントリーレベルで自分のノートだけ。基本的には、MITのこのビデオから、自分のイラストを使ってエラーについては、私に知らせてください。洞察力に富んだ回答、および詳細については、エキスパートレベル（Franckの投稿など）をご覧ください。

— アントニ・パレラダ

そして、どのようにbを計算しますか？

— マイク

1

@マイクとサポートベクトルのインデックスの集合であるここで見つけることができます。

b = y_{s} - \sum_{m \in S} α_{m} y_{m} x_{m} \cdot x_{s}

$b= y_s -\displaystyle \sum_{m\in S} \alpha_m y_m \mathbf{x}_m\cdot \mathbf {x}_s$

S

$S$

(α_{i} > 0) .

$(\alpha_i > 0).$

— アントニ・パレラダ

@AntoniParellada素晴らしい回答Antoniに感謝します-しかし、デュアル問題とKTT条件の一部を見逃していませんか？

— ザビエルバレットシコット

@XavierBourretSicotte私はしばらくそれを扱うことができません。これらの問題に触れる別の答えを書くことを検討してください。もしそうなら、私に知らせてください。私はそれを認識し、それを支持することができます。

— アントニ・パレラダ

3

双対性とKTT条件に関するいくつかのコメント

根本的な問題

式と間にある@Antoniの投稿から、元の（または主な）最適化問題が次の形式であることを思い出してください。 $(4)$ $(5)$

\begin{aligned} min_{w, b} f (w, b) & = min_{w, b} \frac{1}{2} | | w | |^{2} \\ s . t . g_{i} (w, b) & = - y^{(i)} (w^{T} x^{(i)} + b) + 1 = 0 \end{aligned}

$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$

ラグランジュ法

ラグランジュ乗数法を使用すると、制約付き最適化問題を次の形式の制約なしのものに変換できます。

L (w, b, α) = \frac{1}{2} | | w | |^{2} - \sum_{i}^{m} α_{i} [y^{(i)} (w^{T} x^{(i)} + b) - 1]

$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$

ここで、はラグランジアンと呼ばれ、はラグランジアン乗数と呼ばれます。 $\mathcal{L}(w, b, \alpha)$ $\alpha_i$

私たちの原初のラグランジュとの最適化問題は次のようになります：（の使用に注意、我々はまた、使用する必要があるとして、最も厳格ではありませんと ...こちら） $min$ $max$ $\inf$ $\sup$

min_{w, b} (max_{α} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$

二重問題

@AntoniとProf. Patrick Winstonの導出で行ったことは、最適化関数と制約が次のような技術条件を満たしていることを前提としています。

min_{w, b} (max_{α} L (w, b, α)) = max_{α} (min_{w, b} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$

これにより、およびに関しての偏微分を取得し、ゼロに等しい結果を元のラグランジアン方程式にプラグインして、等価なものを生成できます。フォームの二重最適化問題 $\mathcal{L}(w, b, \alpha)$ $w$ $b$

\begin{aligned} max_{α} min_{w, b} L (w, b, α) \\ max_{α} \sum_{i}^{m} α_{i} - \frac{1}{2} \sum_{i, j}^{m} y^{(i)} y^{(j)} α_{i} α_{j} < x^{(i)} x^{(j)} > \\ s . t . α_{i} \geq 0 \\ s . t . \sum_{i}^{m} α_{i} y^{(i)} = 0 \end{aligned}

$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$

双対性とKTT

過度の数学専門的に行くことなく、これらの条件は、双対性とKarushクーン・タッカー（KTT）の条件の組み合わせであり、私たちが解決できるようにする二重の代わりに問題原初の最適解が同じであることを保証しながら、ものを。この場合、条件は次のとおりです。

主目的関数と不等式制約関数は凸でなければなりません
等式制約関数はアフィンでなければなりません
制約は厳密に実行可能でなければなりません

次にが存在します。これらは、主問題と双対問題の解決策です。さらに、パラメーターは以下のKTT条件を満たします。 $w^*, \alpha^*$ $w^*, \alpha^*$

\begin{aligned} \frac{\partial}{\partial w_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (A) \\ \frac{\partial}{\partial β_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (B) \\ α_{i}^{*} g_{i} (w^{*}) = 0 & (C) \\ g_{i} (w^{*}) \leq 0 & (D) \\ α_{i}^{*} \geq 0 & (E) \end{aligned}

$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$

さらに、一部のがKTTの解を満たしている場合、それらは主問題および双対問題の解でもあります。 $w^*, \alpha^*$

上記の式は特に重要であり、二重相補性条件と呼ばれます。これは、場合、あることを意味しますこれは、制約が有効であることを意味します。これは、不等式制約が等式制約に変換されるアントニの導出における方程式背後にある説明です。 $(C)$ $\alpha_i^* > 0$ $g_i(w^*) = 0$ $g_i(w) \leq 0$ $(2)$

直感的だが非公式の図

ソース

アンドリューNg 1および2
MIT

— ザビエル・バレット・シコット
ソース

2

どうもありがとうございました。私はそれをすぐに読んで、後でより多くの時間を経てそれに戻りますが、それは素晴らしく聞こえ、私の答えの欠けている点に触れます。

— アントニ・パレラダ

サポートベクターマシン（SVM）はどのように機能しますか？

表記法

ゴール

最適化

予測をする

カーネルトリック

もっと遠く行く

双対性とKTT条件に関するいくつかのコメント

根本的な問題

ラグランジュ法

二重問題

双対性とKTT

直感的だが非公式の図

ソース