SVMの長所と短所


18

誰かが私に他の分類器と区別する分類SVMの長所と短所を説明できますか?


3
どのような文脈で?どんな目的のために?どんな種類のSVMで?どんな種類のデータですか?

回答:


33

主に4つの利点があります。まず、正規化パラメーターがあり、ユーザーに過剰適合を回避することを考えさせます。第二に、カーネルトリックを使用するため、カーネルのエンジニアリングを介して問題に関する専門知識を組み込むことができます。第三に、SVMは、効率的な方法(SMOなど)がある凸最適化問題(局所的最小値なし)によって定義されます。最後に、それはテストエラー率の限界の近似値であり、その背後にはかなりの理論があり、それは良いアイデアであるべきだと示唆しています。

欠点は、理論が実際に正則化とカーネルパラメーターの所定の値のパラメーターの決定とカーネルの選択のみをカバーすることです。SVMは、オーバーフィッティングの問題をパラメーターの最適化からモデル選択に移行します。悲しいことに、カーネルモデルは、モデル選択基準の過剰適合に非常に敏感になる可能性があります。

GC CawleyおよびNLC Talbot、モデル選択の過剰適合とパフォーマンス評価におけるその後の選択バイアス、Journal of Machine Learning Research、2010年。Research、vol。11、pp。2079-2107、2010年7月。(pdf

ただし、この問題はカーネルメソッドに固有のものではなく、ほとんどの機械学習メソッドには同様の問題があります。SVMで使用されるヒンジ損失により、スパース性が生じます。ただし、多くの場合、カーネルと正則化パラメーターの最適な選択は、すべてのデータがサポートベクトルになることを意味します。スパースカーネルマシンが本当に必要な場合は、有益な副産物ではなく、最初からスパースになるように設計されたもの(情報ベクターマシンなど)を使用してください。サポートベクトル回帰に使用される損失関数には、明らかな統計的解釈はありません。多くの場合、問題の専門知識は、ポアソンまたはベータまたはガウスなどの損失関数にエンコードできます。同様に、多くの分類問題では、実際にクラスメンバーシップの確率が必要です。

それは私が手に負えないと考えることができるすべてについてです。


SVMでのマルチクラス分類の難しさの課題はどうですか?
バース

1
@Vaasの良い点は、過去にDAGSVMアルゴリズムを使用していて、かなり効果的であることがわかりました。マルチクラスの問題は、SVMフレームワーク内でこのようなエレガントなソリューションを持っているようには見えません。マルチクラスカーネルロジスティック回帰は、おそらく「エレガント」のままである最も類似したアプローチでしょう。
ディクランマースピアル
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.