ロジスティック回帰とサポートベクターマシンの違いは?


14

ロジスティック回帰により、トレーニングサンプルを分離する超平面が検出されることがわかっています。また、サポートベクターマシンが最大マージンを持つ超平面を検出することも知っています。

私の質問:ロジスティック回帰(LR)とサポートベクターマシン(SVM)の違いは、LRがトレーニングサンプルを分離する超平面を見つけ、SVMが最大マージンを持つ超平面を見つけることですか?それとも私は間違っていますか?

注:LRでは、場合、ロジスティック関数はをます。を分類しきい値と仮定すると、は超平面または決定境界です。θバツ=00.50.5θバツ=0


回答:


8

ハードSVMについて話していて、2つのクラスが線形に分離可能である場合、あなたは正しいです。LRは、2つのクラスを分離するソリューションを見つけます。ハードSVMは、すべての可能なものの中から最大のマージンを持つ「その」ソリューションを見つけます。

ソフトSVMとクラスが線形分離可能でない場合、わずかな変更を加えるだけで十分です。エラーがゼロになることはありません。LRは、エラーの最小化に対応する超平面を見つけます。Soft SVMは、エラー(別のエラー)を最小化すると同時に、正則化パラメーターを介してそのエラーとマージンをトレードオフします。

2つの違いの1つは、SVMはハードな分類器ですが、LRは確率的な分類器です。SVMはまばらです。2つのクラス間で最も識別力のあるサポートベクトル(トレーニングサンプルから)を選択します。テスト時にそれ以外のトレーニングポイントを保持しないため、2つのクラスのいずれについても分布についてはわかりません。

2つのクラスの線形分離可能性の場合にLRソリューション(IRLSを使用)がどのように壊れるか、およびそのような場合に確率的分類器でなくなる理由を説明しました:https : //stats.stackexchange.com/a/133292/66491


3
ロジスティック回帰はどのような最小二乗を最適化しますか?LRは、クロスエントロピーを損失として使用します。
アルテムソボレフ

1
ロジスティック回帰が最小二乗を意味しないIRLSを使用しているからです-IRLSの再重み付けはパラメータの現在の推定値の関数であり、実際の関数は最小二乗とはまったく異なります。
グレン_b-モニカを復元

要約すると、SVMはLRの改良版です。これは、LRが(ランダムに話すのか?)ハイパープレーンを見つけるのに対し、最大margingのハイパープレーンを見つけるためです。この要約に同意しますか?
LandonZeKepitelOfGreytBritn
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.