カーネルロジスティック回帰とSVM

すべての人に知られているように、SVMはカーネルメソッドを使用して、より高いスペースにデータポイントを投影し、ポイントを線形スペースで区切ることができます。しかし、ロジスティック回帰を使用してカーネル空間でこの境界を選択することもできます。SVMの利点は何ですか？SVMは予測時にこれらのサポートベクトルのみが寄与するスパースモデルを使用するため、SVMの予測が高速化されますか？

KLRおよびSVM

1. 分類のパフォーマンスはどちらの場合もほぼ同じです。
2. KLRはクラス確率を提供できますが、SVMは決定論的な分類器です。
3. KLRにはマルチクラス分類への自然な拡張がありますが、SVMには、マルチクラス分類に拡張する複数の方法があります（そして、他のものよりも確かに優れた品質を持っているバージョンがあるかどうかはまだ研究分野です）。
4. KLRには、驚くほどまたは驚くことなく、SVMが享受する最適なマージンプロパティもあります（少なくとも制限は十分です）。

上記を見ると、カーネルロジスティック回帰が使用すべきもののように思えます。ただし、SVMにはいくつかの利点があります

1. $O(N^3)$$O(N^2k)$$k$
2. SVMの分類器は、サポートベクトルに関してのみ定義されるように設計されていますが、KLRでは、分類器はサポートベクトルだけでなくすべてのポイントにわたって定義されます。これにより、SVMは、KLRで達成するのが難しい自然な高速化（効率的なコード記述の観点から）を享受できます。

この問題に対する私の見解は次のとおりです。

SVMは分類を行う非常にエレガントな方法です。いくつかの素晴らしい理論、いくつかの美しい数学があり、それらはうまく一般化されており、遅すぎることもありません。しかし、回帰のためにそれらを使用しようとすると、面倒になります。

• SVM回帰に関するリソースを次に示します。ひねりを加える追加パラメータと、最適化アルゴリズムに関する詳細な説明に注目してください。

Gaussian Process Regressionには多くのカーネルの数学があり、回帰に最適です。繰り返しますが、非常にエレガントで、遅すぎません。それらを分類に使用してみてください、それはかなり気味悪い感じを始めます。

• これは、回帰に関するGPブックの章です。

• ここに章があります分類上では比較のために、。いくつかの複雑な近似または反復法で終わることに注意してください。

ただし、GPを分類に使用する利点の1つは、単純なyes / no分類ではなく、予測分布を提供することです。

http://www.stanford.edu/~hastie/Papers/svmtalk.pdfをご覧ください

結論：分類パフォーマンスは非常に似ています。最適なマージンプロパティが制限されています。クラスの確率の推定値を提供します。多くの場合、これらは分類よりも便利です。カーネルのマルチロジット回帰により、Mクラス分類に自然に一般化されます。