ベイジアン対MLE、オーバーフィット問題

BishopのPRML本で、彼は、過剰適合は最尤推定（MLE）の問題であり、ベイジアンはそれを避けることができると言っています。

しかし、オーバーフィッティングはモデル選択に関する問題であり、パラメーター推定に使用される方法に関する問題ではないと思います。つまり、介して生成されるデータセットがあるとします $D$ 、今私は別のモデルを選択かもしれない、データをフィットし、1が最良であるかを調べるために。検討中のモデルが異なる次数を有する多項式のものであり、オーダー1であり、順序2、順序9です。

f (x) = s i n (x), x \in [0, 1]

$f(x)=sin(x),\;x\in[0,1]$

H_{i}

$H_i$

H_{1}

$H_1$

H_{2}

$H_2$

H_{3}

$H_3$

今、私はデータに合うようにしようと 3機種のそれぞれに、各モデルは、と表記その偶然に、持っているのための。 $D$ $w_i$ $H_i$

MLを使用して、私はモデルパラメータの点推定値があります、そして一方で、単純すぎるとなり、常にデータunderfitであるあまりにも複雑で、データをオーバーフィットします、唯一のデータをうまくフィットします。 $w$ $H_1$ $H_3$ $H_2$

私の質問は、

1）モデルはデータをオーバーフィットしますが、MLの問題ではなく、モデル自体の問題だと思います。なぜなら、 MLを使用するとが過適合にならないからです。私は正しいですか？ $H_3$ $H_1,H_2$

2）ベイジアンと比較して、MLにはいくつかの欠点があります。モデルパラメーターポイント推定値を与えるだけであり、自信過剰だからです。一方、ベイジアンはパラメーターの最も可能性の高い値だけに依存するのではなく、観測されたデータ与えられたパラメーターのすべての可能な値に依存しますか？ $w$ $D$

3）なぜベイジアンは過剰適合を回避または減少できるのですか？私が理解しているように、モデルの比較にベイジアンを使用できます。つまり、データ与えられると、検討中の各モデルの限界尤度（またはモデル証拠）を見つけ、最も限界尤度が高いものを選択できます。？もしそうなら、なぜですか？ $D$

bayesian model-selection overfitting

— アボカド
ソース

回答:

最適化は統計上のすべての悪の根源です。データの有限サンプルで評価されたいくつかの適切な基準を最適化することによりモデルについて選択を行うときはいつでも、基準をオーバーフィットするリスクがあります。つまり、一般化パフォーマンスの改善が得られ、代わりに、データサンプルの特性（ノイズなど）を活用することで得られます。ベイジアン法がうまく機能する理由は、何も最適化せず、代わりにすべての可能な選択肢をマージナライズ（統合）するためです。問題は、モデルに関する事前の信念の選択にあるため、1つの問題はなくなりましたが、その代わりに別の問題が現れます。 $^1$

これには、ベイジアン設定での証拠（限界尤度）の最大化が含まれます。この例については、私の論文のGaussian Process分類器の結果を参照してください。ハイパーパラメータが多すぎると、限界尤度を最適化するとモデルが悪化します（限界尤度に応じた選択は、多くのハイパー-この形式のオーバーフィッティングの結果としてのパラメーター）。 $^1$

GC CawleyおよびNLC Talbot、モデル選択における過剰適合とパフォーマンス評価におけるその後の選択バイアス、Journal of Machine Learning Research、2010年。Research、vol。11、pp。2079-2107、2010年7月。（pdf）

— ディクラン・マースピアル
ソース

+1、ありがとうございました。あなたの論文を読んで、さらに質問があるかどうかを確認します;-)

— アボカド14年

最適化は通常、ほぼ統合と考えることができることに注意してください-ラプラス法はこの例です。最適化は通常、積分の適切な近似ではない場合に失敗します。そのため、なぜREMLが通常MLよりも優れているのですか。

— 確率論的

@probabilityislogic、私は理解しているかどうかわかりません、MLはMAPに少し似ています、統合は実行されません。ラプラス近似を使用する（私が見た方法で）ことは、統合したい関数の近似を最適化し、代わりにそれを統合するという意味で最適化することですが、まだ統合が進行中です。

— ディクランマースピアル14

@dikran marsupial-おそらくそれを説明するより良い方法は、MLによってパラメーターを推定し、そのパラメーターをそのMLEと等しくなるように制約することによって、統合がしばしばよく近似されることです。ラプラス近似は、この直観に「修正係数」を提供します-REMLと同じ方法です。

— 確率論的

@probabilityislogicの返信に感謝します。考えてみます！

— ディクランマースピアル14

一般的な応答として、「最小二乗」タイプの回帰モデルを使用している場合、回帰パラメーターに有益な事前情報を使用しない限り、実際にはベイとMLの間に大きな違いはありません。詳細に応じて：

$H_9$ $H_1$ はほとんどの場合「アンダーフィッティング」になります-明らかな曲率が失われるためです

2）これは、多項式展開のような「線形」には当てはまりません（「線形」は、パラメータではなくを意味します） $x$ ）。最小二乗法のML推定値は、情報価値のない事前分布または大きなサンプルサイズの下での事後平均と同じです。実際、ML推定値は、さまざまなモデルの下で「漸近的な」事後平均と考えることができることを示すことができます。

3）Bayesianアプローチは、適切な事前確率に対してのみ過剰適合を回避できます。これは、いくつかのフィッティングアルゴリズムで見られるペナルティ用語と同様の方法で動作します。たとえば、L2ペナルティ=通常の事前、L1ペナルティ=ラプラスの事前。

— 確率論
ソース

H_{9}

$H_9$

H_{\infty}

$H_\infty$

H_{9}

$H_9$

$H_1$ $H_2$ $H_3$ トレーニングインスタンスの数が十分に大きい場合にがまったくオーバーフィットしない可能性があります。

たとえば、ひどく誇張して、とします。 $2$ $H_1$ 常にデータをオーバーフィットするため。

$l^1$

— ユールーシュ
ソース

不十分なトレーニングサンプルを使用した単純な仮説（例：h1、h2）は、与えられたいくつかのトレーニング例のモデルバイアスのために、アンダーフィッティング（cv）の例であり、オーバーフィッティングではありません。

— イェクタ