SVMグリッド検索は、精度が低く高精度の領域を示す必要がありますか？

私は12のポジティブトレーニングセットを持っています（12の異なる作用機序のそれぞれを備えた薬物で処理された癌細胞）。これらのポジティブトレーニングセットのそれぞれについて、サポートベクターマシンをトレーニングして、実験からサンプリングされた同じサイズのネガティブセットと区別します。各セットには10​​00〜6000のセルがあり、各セルには476の特徴（画像の特徴）があり、それぞれ[0、1]に線形にスケーリングされます。

LIBSVMとGaussian RGBカーネルを使用しています。5分割の相互検証を使用して、log₂C∈[-5、15]およびlog₂ɣ∈[-15、3]のグリッド検索を実行しました。結果は次のとおりです。

12の分類問題すべてに高い精度を与える単一のパラメータセットがないことにがっかりしました。また、グリッドは一般に、低い精度で囲まれた高精度の領域を示していないことにも驚きました。これは、検索パラメータースペースを拡張する必要があるということだけですか、それともグリッド検索は何か他の問題があることを示しているのですか？

ハイパーパラメーターの最適値は、学習タスクごとに異なります。問題ごとに個別に調整する必要があります。

単一の最適値が得られない理由は、カーネルパラメーターと正則化パラメーターの両方がモデルの複雑さを制御するためです。Cが小さい場合、滑らかなモデルが得られます。同様に、カーネルが広い場合、滑らかなモデルが得られます（基底関数はあまり局所的ではないため）。これは、Cとカーネル幅のさまざまな組み合わせにより、同様のパフォーマンスを持つ同様に複雑なモデルがもたらされることを意味します（これにより、多くのプロットで対角線の特徴が得られます）。

最適値は、トレーニングセットの特定のサンプリングにも依存します。クロス検証エラーを過剰に適合させることが可能であるため、クロス検証によってハイパーパラメーターを選択すると、運が悪ければ実際にパフォーマンスが低下する可能性があります。これについての議論については、CawleyとTalbotを参照してください。

同様に適切な値が得られるハイパーパラメーターの値の広いプラトーがあるという事実は、モデル選択における過剰適合に対して過度に脆弱ではないことを示唆しているため、実際にはサポートベクターマシンの優れた機能です。最適な値で鋭いピークがあった場合、有限のデータセットを使用してそのピークを見つけるのは困難であり、そのピークが実際にどこに存在するかについて信頼できない指標を提供するため、それは悪いことです。