SVMのラグランジュ乗数がスパースなのはなぜですか？

Maximal Margin Classifier SVMでは、二重問題を解決した後、ほとんどのラグランジュ乗数がゼロになることがわかりました。サポートベクトルに対応するものだけが正であることがわかります。

何故ですか？

SVMのコンテキストでのラグランジュ乗数は、通常表されます。ほとんどのがKarush-Kuhn-Tucker（KKT）の二重相補性条件の直接の結果であることがしばしば観察されるという事実：$\alpha_i$$\alpha_i=0$

以来 IFF SVMの決定境界上にある、すなわち、仮定サポートベクトルででありますwhuberがコメントで指摘したように、トレーニングセット、およびほとんどの場合、ほとんどのトレーニングベクトルはサポートベクトルです。これは、ほとんどのが0またはであることを意味します。$y_i(\mathbf{w}^T\mathbf{x}_i+b) = 1$$\mathbf{x}_i$$\mathbf{x}_i$$\alpha_i$$C$

Andrew NgのCSVMに関するCS229講義ノートでは、Karush-Kuhn-Tucker（KKT）の二重相補性条件を紹介しています。

トレーニングセット内のすべてのベクターがサポートベクターであるケースを作成できることに注意してください。たとえば、このサポートベクターマシンの質問を参照してください。