汎化パフォーマンスの分布の比較

分類問題には2つの学習方法とBがあり、交差検証やブートストラップを繰り返して、それらの一般化パフォーマンスを推定するとします。このプロセスから、これらの繰り返しにわたる各メソッドのスコアP AおよびP Bの分布を取得します（たとえば、各モデルのROC AUC値の分布）。$A$$B$ $P_A$$P_B$

これらの分布を見ると、それはその可能性が が、そのσ A ≥ σ B（すなわちの予想汎化性能をAがより高いBが、この見積りの詳細不確実性があること）。$\mu_A \ge \mu_B$$\sigma_A \ge \sigma_B$$A$$B$

これは回帰のバイアス分散ジレンマと呼ばれていると思います。

P AとP Bを比較し、最終的にどのモデルを使用するかについて情報に基づいた決定を行うには、どのような数学的な方法を使用できますか？$P_A$$P_B$

注：簡単にするために、ここでは2つの方法とBを参照していますが、約1000の学習方法のスコアの分布を比較するために使用できる方法（たとえばグリッド検索から）に興味があり、最終的に使用するモデルに関する最終決定。$A$$B$

AとBの2つの方法しかない場合、任意のトレーニング/テストパーティションについて、モデルAの（適切なパフォーマンスメトリックに基づく）エラーがモデルBのエラーよりも低い確率を計算します。この確率が0.5より大きい場合、モデルAを選択し、それ以外の場合はモデルBを選択しました（Mann-Whitney U検定を参照してください）。しかし、パフォーマンス統計の分布が非常に大きくない場合を除いて、平均が低いモデルを選択することになると強く思います。 -対称。

一方、グリッド検索の場合、実際にはさまざまな方法を比較するのではなく、同じモデルの（ハイパー）パラメーターを調整して、データの有限サンプルに適合させる（この場合は、クロスを介して間接的に） -検証）。私は、この種の調整が過度に適合しがちである可能性があることを発見しました。私の論文を参照してください

Gavin C. Cawley、Nicola LC Talbot、「モデル選択における過剰適合と、パフォーマンス評価におけるその後の選択バイアスについて」、Journal of Machine Learning Research、11（Jul）：2079-2107、2010。（www）

モデル選択基準の過剰適合を回避するために、カーネルマシン（SVMなど）には比較的粗いグリッドを使用するのがおそらく最善であることを示す論文をレビューしています。別のアプローチ（私は調査していないため、注意が必要です！）は、グリッド検索で見つかった最良のモデルよりも統計的に劣らない最も高いエラーのモデルを選択することです（ただし、かなり悲観的なアプローチかもしれませんが）小さなデータセットの場合）。

ただし、実際の解決策は、おそらくグリッド検索を使用してパラメーターを最適化することではなく、ベイジアンアプローチで、またはアンサンブルメソッドとしてパラメーター値を平均化することです。最適化しないと、過剰適合が難しくなります。