非線形分離可能データで線形SVMをトレーニングするとどうなりますか?


11

非線形分離可能データで基本的なサポートベクターマシン(線形カーネルでソフトマージンなし)をトレーニングするとどうなりますか?最適化の問題は実行可能ではないので、最小化アルゴリズムは何を返しますか?

回答:


11

基本的なサポートベクターマシンはハードマージンのSVMを意味すると思います。では、復習しましょう。

何がハードマージンSVM

つまり、トレーニングサンプル空間ですべての観測を正しく分離できる最大のマージンを持つ超平面を見つけたいと考えています。

ハードマージンSVMの最適化問題

上記の定義で、解決する必要がある最適化問題は何ですか?

  1. 最大マージンの超平面:欲しい max(margin)
  2. すべての観測値を正しく分離できるようにする:最適化marginし、制約も満たす必要があります:サンプル内エラーなし

非線形分離可能データで線形SVMをトレーニングするとどうなりますか?

質問に戻りますが、トレーニングデータセットは線形分離可能ではないと述べたため、特徴変換なしのハードマージンSVMを使用すると、「サンプル内エラーなし」を満たす超平面を見つけることができません。

通常、SVM最適化問題は制約付きで最適化タスクを実行できるため、二次計画法で解決します。ハードマージンSVMの制約を満たさない勾配降下法またはその他の最適化アルゴリズムを使用する場合でも、結果は得られますが、それはハードマージンSVMハイパープレーンではありません。

ちなみに、非線形分離可能なデータでは、通常、

  • ハードマージンSVM +機能変換
  • ソフトマージンSVMを直接使用する(実際には、ソフトマージンSVMは通常、良い結果を得る)

ご回答有難うございます。したがって、RやPythonなどのSVMパッケージは、データが非線形分離可能である場合、二次計画法を使用しませんか?
SVM 2015年

使用しているsvmライブラリがわからない。私はlibsvmを使用しており、異なるsvmツールは異なるsvmソルバーを使用している場合があります。より良いSVMソルバーを見つけることは、別の研究トピックです。QPはSVMを解決するための基本的な方法です。
ファンシア2015年
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.