MLEの正則化はベイジアン手法ですか?


8

通常、ベイジアン統計の事前分布は、確率密度の低い解を不利にするため、正則化要因と見なすことができると言われています。

次に、MLEパラメータが次のようなこの単純なモデルが与えられた場合:

argmaxμ N(y;μ,σ)

そして、私は前のものを追加します: パラメータはMLEパラメータではありませんしかし、MAPパラメータ。

argmaxμ N(y;μ,σ)N(μ;0,σ0)

質問:これは、モデルにいくつかの正則化を導入した場合、ベイズ分析を行っていることを意味しますか(点推定のみを使用している場合でも)?

または、MLEまたはMAPを見つける方法が同じであるため、この時点でこの「存在論的」な区別をしても意味がありません(そうではありませんか?)?

回答:


10

それは、分析がベイズの解釈を持っていることを意味しますが、それはまた、それが頻度論の解釈も持っていないかもしれないことを意味しません。MAP推定は、部分的なベイジアンアプローチであると見なすことができ、より完全なベイジアンアプローチは、パラメーターの事後分布を考慮することです。ただし、確率の定義は長期実行頻度ではなく「妥当性の度合い」になるため、これはまだベイジアンアプローチです。


5

L2ノルム、つまり対数尤度関数の2次ペナルティを使用する場合、ペナルティは、非切片回帰係数の平均がゼロの事前ガウスを使用するベイジアン手順と非常に似ています。しかし、ペナルティの量に関する不確実性を考慮した完全なベイズ手順(既知の定数であるかのように変量効果の分散を処理するのと同様)とは異なり、ペナルティ付き最尤手順では、最適なペナルティが事前に指定されていて、不明なパラメータではありません。そのため、少し狭すぎる信頼限界になります。


2
ハイパーパラメーターの不確実性を考慮しない+1の良い点は、経験的ベイズです。
Dikran Marsupial 2014
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.