サポートベクトル回帰はどのように直感的に機能しますか？

SVMの例はすべて分類に関連しています。回帰用のSVM（サポートベクター回帰）がどのように回帰で使用されるか理解できません。

私の理解では、SVMは2つのクラス間のマージンを最大化し、最適な超平面を見つけます。これは回帰問題でどのように機能しますか？

要するに、マージンを最大化することは、より一般的にはを最小化することでソリューションを正規化することと見なすことができます（これは本質的にモデルの複雑さを最小化する）。これは分類と回帰の両方で行われます。しかし、分類の場合、この最小化は、すべての例が正しく分類されるという条件の下で行われ、すべての例の値が回帰のから必要な精度下回るという条件の下での回帰の場合。$w$$y$$\epsilon$$f(x)$

分類から回帰への移行方法を理解するには、両方のケースで同じSVM理論を適用して問題を凸最適化問題として定式化する方法を確認すると役立ちます。両方を並べてみます。

（精度超える誤分類と偏差を許容するスラック変数は無視します）$\epsilon$

分類

この場合、目的は、関数を見つけることです。ここで、正の例では、負の例ではです。これらの条件下で、微分を最小化する以上の余白（2つの赤いバーの間の距離）を最大化します。、F （X ）≥ 1 F （X ）$f(x)= wx +b$$f(x) \geq 1$$f(x) \leq -1$$f'=w$

マージンを最大化する背後にある直観は、これによりを見つける問題に対するユニークなソリューションが得られる（つまり、たとえば青い線を破棄する）こと、およびこのソリューションがこれらの条件下で最も一般的である、つまり正則化として。これは、決定の境界（赤と黒の線が交差する）付近で分類の不確実性が最大であり、この領域で最小値を選択すると、最も一般的な解が得られると考えられます。$f(x)$$f(x)$

この場合、2つの赤いバーのデータポイントはサポートベクトルであり、不等式条件およびの等値部分の非ゼロラグランジュ乗数に対応します。$f(x) \geq 1$$f(x) \leq -1$

回帰

この場合の目標は、が値（黒いバー）から必要な精度内にあるという条件下で、関数（赤い線）を見つけることです。すべてのデータポイント、つまり ここで、は赤と灰色の線の間の距離です。この条件下で、再び正規化の理由でを最小化し、凸最適化問題の結果として一意の解を取得します。の極値がであるため、を最小化するとより一般的なケースになることがわかります$f(x)= wx +b$$f(x)$$\epsilon$$y(x)$$|y(x) -f(x)|\leq \epsilon$$epsilon$$f'(x)=w$$w$$w=0$ データから取得できる最も一般的な結果である機能的関係がまったくないことを意味します。

この場合、2つの赤いバーのデータポイントはサポートベクトルであり、不等式条件の等値部分の非ゼロラグランジュ乗数に対応します。$|y -f(x)|\leq \epsilon$

結論

どちらの場合も、次の問題が発生します。

次の条件の下で：

• すべての例は正しく分類されています（分類）
• すべての例の値は、から未満の偏差です。（回帰）$y$$\epsilon$$f(x)$

SVMの分類問題では、実際にクラスを分離線（ハイパープレーン）から可能な限り分離しようとし、ロジスティック回帰とは異なり、ハイパープレーンの両側から安全境界を作成します（ロジスティック回帰とSVM分類は異なる損失関数）。最終的には、超平面から可能な限り離れた異なるデータポイントを分離します。

回帰問題のSVMでは、モデルを適合させて将来の量を予測したいと考えています。そのため、分類用のSVMとは異なり、データポイント（観測）を超平面にできるだけ近づける必要があります。SVM回帰は、（通常の最小二乗）のような単純回帰から継承しました。この違いにより、超平面の両側からイプシロン範囲を定義し、SVMとは異なり、誤差に対して鈍感な回帰関数を作成します。将来の決定（予測）。最終的に、