SVMの正則化パラメーターの直感

SVMの正則化パラメーターを変更すると、分離不可能なデータセットの決定境界がどのように変更されますか？（大小の正則化のための）制限的な動作に関する視覚的な回答やコメントが非常に役立ちます。

正則化パラメーター（ラムダ）は、分類の誤りに与えられる重要度の役割を果たします。SVMは、両方のクラス間のマージンを最大化し、誤分類の量を最小化することを求める二次最適化問題を引き起こします。ただし、分離できない問題の場合は、解決策を見つけるために、分類ミスの制約を緩和する必要があります。これは、前述の「正規化」を設定することによって行われます。

したがって、直感的には、ラムダが大きくなるほど、誤って分類された例が許可されることが少なくなります（または、損失関数で支払う価格が最も高くなります）。次に、ラムダが無限になる傾向があるとき、ソリューションはハードマージンになる傾向があります（誤分類を許可しません）。ラムダが0になる傾向がある場合（0にならない場合）、より多くの誤分類が許可されます。

これらの2つのラムダと通常はより小さなラムダの間には間違いなくトレードオフがありますが、小さすぎず、一般化がうまくいきます。以下は、線形SVM分類（バイナリ）の3つの例です。

非線形カーネルSVMの場合も同様です。これを踏まえると、ラムダの値が高い場合はオーバーフィットの可能性が高くなり、ラムダの値が低い場合はアンダーフィットの可能性が高くなります。

以下の画像は、RBFカーネルの動作を示しています。シグマパラメーターを1に固定し、ラムダ= 0.01とラムダ= 10を試します。

ラムダが低い最初の図は、データをより正確にフィットすることを目的とする2番目の図よりも「リラックス」していると言えます。

（Oriol Pujol教授、バルセロナ大学からのスライド）