素晴らしいlibsvmパッケージは、Pythonインターフェースと、分類子の精度を最大化する学習パラメーター（コストとガンマ）を自動的に検索するファイル「easy.py」を提供します。与えられた候補の学習パラメーターセット内で、精度は交差検証によって操作可能になりますが、これは交差検証の目的を損なうように感じます。つまり、データの過剰適合を引き起こす可能性のある方法で学習パラメーター自体を選択できる限り、より適切なアプローチは、検索自体のレベルで交差検証を適用することだと思います：検索を実行しますトレーニングデータセットで、別のテストデータセット内で評価することにより、最終的に選択された学習パラメーターから得られるSVMの最終的な精度を評価します。または、ここで何か不足していますか？
回答:
完全なトレーニングデータでハイパーパラメーターを学習し、次に交差検証すると、楽観的にバイアスされたパフォーマンス推定が得られます。これは、各フォールドのテストデータがハイパーパラメーターの設定に既に使用されているため、ハイパー選択したパラメータは、テストセットのデータに適合するため、一部選択されています。この方法で導入される楽観的なバイアスは、予想外に大きくなる可能性があります。参照してください「モデルの選択と性能評価におけるその後の選択バイアスのオーバーフィッティングオン」Cawleyとタルボット、JMLR 11（7月）：2079年から2107年、2010年。（特にセクション5.3）。最善の方法は、入れ子の交差検証です。基本的な考え方は、モデルの生成に使用されるメソッド全体を相互検証するため、モデル選択（ハイパーパラメーターの選択）をモデルフィッティング手順の一部（パラメーターが決定される）の一部として扱い、先に進むことができないということです。あまりにも間違っています。
トレーニングセットで交差検証を使用してハイパーパラメーターを決定し、別のテストセットを使用して、トレーニングセット全体でそれらのパラメーターを使用してトレーニングされたモデルのパフォーマンスを評価する場合も、十分です（十分なデータがある場合）モデルを確実にフィッティングし、互いに素なパーティションを使用してパフォーマンスを推定するため）。
LIBSVMの場合、クロス検証はテストデータレベルで行われるため、誤用されているとは思いません。それが行うすべては、k分割交差検証とRBFカーネルの最適なパラメーターの検索です。あなたが同意しないことを知らせてください。