サポートベクターマシンでのガンマパラメーターの使用


9

を使用するlibsvm場合、パラメーターはカーネル関数のパラメーターです。デフォルト値はγ = 1に設定されていますγ

γ=1number of features.

グリッド検索などの既存の方法以外に、このパラメーターを設定するための理論的なガイダンスはありますか?

回答:


8

以下の理論的なガイダンスをお勧めします。ガウスRBFカーネルを使用している場合、分離面は、各サポートベクトルを中心としたベル型の面の組み合わせに基づいています。各ベル形の表面の幅は反比例します。この幅がデータの最小ペアワイズ距離よりも小さい場合は、本質的に過剰適合です。この幅がデータの最大ペアワイズ距離よりも大きい場合、すべてのポイントが1つのクラスに分類され、良好なパフォーマンスも得られません。したがって、最適な幅は、これらの2つの両極端の間のどこかにある必要があります。γ


pair-wise distance for your data=スケーリング後の単純なユークリッド距離?
ihadanny、2015年

5

いいえ、基本的にデータに依存しています。グリッド検索(対数変換されたハイパーパラメーター上)は、調整するハイパーパラメーターが少ない場合に非常に優れた方法ですが、グリッド解像度を細かくしすぎないか、調整を過度に適合させる可能性があります。基準。カーネルパラメータの数が多い問題の場合、Nelder-Meadシンプレックス法がうまく機能することがわかりました。


ディクラン、答えてくれてありがとう。「データ依存」について詳しく説明できますか?rと一連のデータの関係は何ですか?または言い換えると、一連のデータが与えられた場合、これらのデータに基づいてrを定義する方法はありますか?
user3269 2012

1
本質的に「データに依存する」とは、データの特定の構造に応じて最適な設定が異なることを意味し、一般に、相互検証エラーを最小限に抑えるよりも適切な設定方法はありません。カーネルメソッドは、カーネルの学習方法についてのより理論的な分析で実際に実行できますが、残念ながらこれは数学的に非常に困難です。
Dikran Marsupial 2012
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.