ガウス過程が過剰適合しているかどうかをどのように検出できますか？

交差検証ではなく、データの周辺信頼度を最大化することにより、多くのパラメーターを持つARDカーネルでガウスプロセスをトレーニングしています。

私はそれが過剰適合していると思います。ベイジアンコンテキストでこの疑いをテストするにはどうすればよいですか？

最も簡単なことは、ガウス過程をARD以外の等価な共分散関数（通常はRBF）で近似し、テストの誤り率を比較することです。多くの問題では、ハイパーパラメータの調整が過剰であるため、ARD共分散関数は非ARD共分散関数よりもパフォーマンスが低下します。RBF共分散はARD共分散の特殊なケースであるため、RBFのパフォーマンスが高い場合、それはARDカーネルが過剰適合していることを強く示しています（対応するRBF共分散の最適値でARD係数の最適化を開始すると、これはより速く、またARD共分散の問題が限界尤度の極小によるものだけではないことを確認するのにも役立ちます）。これは、一般的に認められているよりもはるかに大きな問題です。

私はこれについていくつかの論文を書きました：

GC CawleyとNLC Talbot、ハイパーパラメーターのベイズ正則化によるモデル選択中の過剰適合の防止、Journal of Machine Learning Research、第8巻、841-861、2007年4月（pdf）

そして

GC CawleyとNLC Talbot、モデル選択における過剰適合、およびパフォーマンス評価における後続の選択バイアス、Journal of Machine Learning Research、2010年。11、pp.2079-2107、2010年7月（pdf）

1つ目は、GPのいくつかの実験を含みます。モデル選択の過剰適合は、モデル選択が限界尤度最大化に基づくGPの問題でもあることを示しています。

より徹底的な分析は、周辺尤度を最適化するプロセスの各ステップでGPのテストエラーを評価することです。モデル選択基準が単調に減少しているが、モデル選択基準が過剰に最適化されているため、テストエラーは最初は減少しますが、その後再び増加し始めるという、過剰適合の古典的なホールマークを取得する可能性が高いです（cf 2010 JMLRペーパーの図2a）。