SVMの汎化限界
サポートベクターマシンの一般化能力の理論的な結果、たとえば分類エラーの確率やこれらのマシンのVapnik-Chervonenkis（VC）次元の限界に興味があります。しかし、文献を読んでいると、同じような定期的な結果の一部は著者間で、特に特定の拘束力を維持するために必要な技術的条件に関して、わずかに異なる傾向があるという印象を受けました。 以下では、私は私が反復的に何らかの形で発見したことを主な汎化結果のSVMの問題と状態3の構造を思い出すだろう私は博覧会を通して、主に3つの参照を与えます。−−- 問題の設定： 独立して同一に分布した（iid）ペアデータサンプルがあるとしますここで、すべての、と。、および定義される分離超平面間の最小マージンを最大化するサポートベクターマシン（SVM）を構築します、および間の最も近い点。これにより、および定義された2つのクラスが分離されます。SVMに、スラック変数を導入することにより、ソフトマージンを介していくつかのエラーを許可させます。(xi,yi)1≤i≤n(xi,yi)1≤i≤n(x_i,y_i)_{1\leq i\leq n}iiixi∈Rpxi∈Rpx_i \in \mathbb{R}^pyi∈{−1,1}yi∈{−1,1}y_i \in \{-1,1\}m∗m∗m^*{x:w⋅x+b=0}{x:w⋅x+b=0}\{x : w \cdot x + b = 0\}w∈Rpw∈Rpw \in \mathbb{R}^pb∈Rb∈Rb \in \mathbb{R}x1,⋯,xnx1,⋯,xnx_1,\cdots,x_ny=−1y=−1y = -1y=1y=1y = 1ξ1,⋯,ξnξ1,⋯,ξn\xi_1,\cdots,\xi_n −−-しかし、説明の便宜のために、我々はカーネルの可能性を無視します。解のパラメーターとは、次の凸2次最適化プログラムを解くことによって得られます。w∗w∗w^*b∗b∗b^* minw,b,ξ1,⋯,ξns.t.:12∥w∥2+C∑i=1nξiyi(w⋅xi+b)≥1−ξiξi≥0,∀i∈{1,⋯,n},∀i∈{1,⋯,n}minw,b,ξ1,⋯,ξn12‖w‖2+C∑i=1nξis.t.:yi(w⋅xi+b)≥1−ξi,∀i∈{1,⋯,n}ξi≥0,∀i∈{1,⋯,n}\begin{align} \min_{w, \, b, \, \xi_1, \, \cdots, \, \xi_n} \; & \; \frac{1}{2}\|w\|^2 + C\sum_{i=1}^n\xi_i \\ \text{s.t.} \; : \; & \; …