SVMのカーネルの違いは?


26

誰かがSVMのカーネルの違いを教えてください:

  1. リニア
  2. 多項式
  3. ガウス(RBF)
  4. シグモイド

なぜなら、カーネルは入力空間を高次元の特徴空間にマッピングするために使用されることがわかっているからです。そして、その特徴空間で、線形に分離可能な境界を見つけます。

それらはいつ(どのような条件下で)使用されますか、そしてなぜですか?

回答:


4

線形カーネルは、予想される線形モデルです。多項式カーネルは似ていると思いますが、境界は定義されているが任意の次数です

(例:3: )。a=b1+b2X+b3X2+b4X3

RBFはデータポイントの周りの通常の曲線を使用し、これらを合計して、合計が0.5を超える曲線などのトポロジ条件のタイプによって決定境界を定義できるようにします。(この写真を参照)

シグモイドカーネルが何であるかは定かではありませんが、ロジスティック回帰モデルに似ており、ロジスティック関数を使用して、通常の0.5などのロジスティック値がある値(モデリング確率)よりも大きい場合に応じて曲線を定義します場合。


したがって、線形カーネルを使用すると、線形に分離可能な超平面(境界)を取得できますか?多項式またはRBFカーネルを使用する場合、(多項式の場合)ハイパーレーンは、グループ化されたクラス(RBFの場合)および曲線?? そうですか?? scikit-learn.org/stable/modules/svm.html
user3378327

各カーネルは、それぞれの境界の高次元バージョンで機能します。それはあなたの質問に答えますか?私が知っているカーネルでは、3次元に制限されません。
ジョンイッター14年

明確にしたいだけです。それで、線形カーネルを使用することによる境界は線形ですか?RBFはグループ化されたクラスのサークルのようなものですか?? 多項式の場合、多項式の次数に基づいて曲線にすることができますか?
user3378327 14年

私はRBFがグループ化されたクラスのサークルであるとは言いません。私の理解では、各データポイントで正規分布に基づいて関数を適用し、これらの関数を合計します。次に、その関数の特定の値を表す曲線によって境界が形成されます。SVMライブラリに貢献した人が中に入ってくると、助けになるかもしれません。他の2つのカーネルの理解は正しいと思います。
ジョンイッター14年

Uは、カーネルを使用することで、Linier Kernelが(linierlyに分離可能なクラスを取得するために)私が期待したものであると述べました。そして、SVM分類器を使用して、LINIER SVMと呼びました。しかし、SVMのカーネルなしで線形に分離可能なデータを取得できるとしたらどうでしょう。私たちはそれを何と呼んでいますか?? それでもLinier SVMまたはNon Linier SVM ??
user3378327 14年

11

カーネルに関する読者の基本的な知識に依存しています。

線形カーネル:K(X,Y)=XTY

多項式カーネル:K(X,Y)=(γXTY+r)d,γ>0

放射基底関数(RBF)カーネル:これは、単純な形式でK(X,Y)=exp(XY2/2σ2)exp(γXY2),γ>0

シグモイドカーネル:これは、ロジスティック回帰のシグモイド関数に似ています。K(X,Y)=tanh(γXTY+r)

ここで、、、およびはカーネルパラメーターです。rdγ


3
あなたの答えの情報は正しいですが、ここで提起された質問に答えているとは思いません。それは、それらの間の実際的な違い、すなわちどちらかを使用するときです。
Firebug

1
驚くべきことに、これらの単純な定義は入手困難です。カーネルの違いについて話すとき、それらは最初に提示されるべきです、しかし、それらを述べることに対する広範囲の失敗があります。
cammil

これらの公式ソースはありますか?(私はそれらをテストし、それらは正しいように見えますが、引用したいと思います。)
クリスチャンエリクソン

6

この質問は、理論的および実用的な観点から答えることができます。No-Free Lunchの定理によると、理論上、1つのカーネルが他のカーネルよりも良好に動作する保証はありません。それはあなたが決して知らない先験的なものであり、どのカーネルがより良く機能するかを見つけることもできません。

実用的な観点から、次のページを参照してください。

SVMのカーネルを選択する方法は?


1

カーネルの「目的」や使用する時期を検討する際には、厳密なルールはありません。

分類器/リグレッサーが特定のカーネルで良好に機能している場合は、別のカーネルに変更することを検討してください。

カーネルがどのように実行されるか、特に分類モデルである場合、https//gist.github.com/WittmannF/60680723ed8dd0cb993051a7448f7805などの視覚化の例を確認することで洞察を得ることができます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.