SVMとロジスティック回帰の比較

誰かがいつSVMまたはLRを選択するかについて直観を教えてもらえますか？私は、2つの超平面を学習する最適化基準の違いは何かという背後にある直感を理解したいと思います。それぞれの目的は次のとおりです。

• SVM：最も近いサポートベクトル間のマージンを最大化してください
• LR：事後クラス確率を最大化する

SVMとLRの両方の線形特徴空間を考えてみましょう。

私がすでに知っているいくつかの違い：

1. SVMは決定論的ですが（確率スコアにはプラッツモデルを使用できます）、LRは確率論的です。
2. カーネルスペースの場合、SVMの方が高速です（サポートベクターのみが格納されます）

一般に、線形SVMとロジスティック回帰は、実際には同等に機能します。データが線形に分離できないと考える理由がある場合（またはLRが通常許容するよりも外れ値に対してより堅牢である必要がある場合）、非線形カーネルでSVMを使用します。それ以外の場合は、最初にロジスティック回帰を試して、その単純なモデルをどのように使用するかを確認してください。ロジスティック回帰が失敗した場合は、RBFのような非線形カーネルでSVMを試してください。

編集：

さて、目的関数がどこから来たかについて話しましょう。

ロジスティック回帰は、一般化線形回帰に由来します。このコンテキストでのロジスティック回帰の目的関数の適切な説明は、https：//stats.stackexchange.com/a/29326/8451にあります。

サポートベクターマシンアルゴリズムは、より幾何学的に動機付けられています。確率モデルを仮定する代わりに、サポートベクトルのコンテキストで「最適性」を定義する特定の最適な分離超平面を見つけようとしています。ここでロジスティック回帰で使用する統計モデルに似たものはありませんが、線形の場合は同様の結果が得られますが、実際はこれはロジスティック回帰が「ワイドマージン」分類器を生成するかなり良い仕事をすることを意味しますすべてのSVMが実行しようとしています（具体的には、SVMはクラス間のマージンを「最大化」しようとしています）。

私は後でこれに戻って、雑草を少し掘り下げてみます。私は何かの真ん中にいるだけです：p

画像は、SVMとロジスティック回帰の違いと、どの方法を使用するかを示しています

この画像は、コースラコースからのものです。AndrewNGによる「機械学習」。7週目の終わりにあります：「サポートベクターマシン-SVMの使用」

• LRは、決定の信頼性として解釈できる較正済みの確率を提供します。
• LRは、制約のないスムーズな目標を提供します。
• LRは（直接）ベイジアンモデル内で使用できます。
• SVMは、十分な自信を持って正しい決定が下された例にペナルティを科しません。これは一般化に適しています。
• SVMには優れた二重形式があり、カーネルトリックの使用時にスパースソリューションを提供します（スケーラビリティが向上）

チェックアウトロジスティック回帰、トロントCSC2515の大学対サポートベクターマシンをケビンSwerskyこともできます。