同時L1およびL2正則化（別名エラスティックネット）を使用した線形回帰のベイジアン解釈はありますか？

ペナルティを伴う線形回帰は、係数のガウス事前分布が与えられたMAP推定値を見つけることと同等であることはよく知られています。同様に、ペナルティを使用することは、事前分布としてラプラス分布を使用することと同等です。 $l^2$ $l^1$

と正規化の重み付き組み合わせを使用することは珍しくありません。これは、係数の事前分布に相当すると言うことができます（直感的には、そうでなければならないようです）。この分布に素敵な分析形式（ガウスとラプラシアンの混合物）を与えることができますか？そうでない場合は、なぜですか？ $l^1$ $l^2$

— マイケル・カリー
ソース

このペーパーを参照してください：tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 （これが1週間か2週間で適切に回答されない場合は、そのペーパーの概要を（多かれ少なかれ）投稿します）

— user795305

頻度の高い人がペナルティ

持っているときはいつでも、ベイジアンは標準ガウスモデルの下で（おそらく不適切な）事前

としてそれを解釈できることを付け加えるべきです。

p e n

$pen$

e^{- p e n}

$e^{-pen}$

— user795305

おかげで、この論文とその引用は私の質問に完璧に答えています！

— マイケルカレー

すごい！あなたが意味する引用を指摘してもいいですか？（私はすぐにこの論文を読むつもりで、あなたのコメントに興味があります）

— -user795305

さて、クール！彼らのベイジアン解釈は、私の2番目のコメント

— -user795305

Benのコメントはおそらく十分ですが、Benが言及した論文の前からの参考文献をいくつか提供します。

Bayesian Elastic Net表現は、Kyungらによって提案されました。al。セクション3.1で。回帰係数の事前は正しいものの、著者は混合表現を誤って書き留めました。 $\beta$

弾性ネットの修正されたベイジアンモデルが最近、RoyとChakrabortyによって提案されました（式6）。著者はまた、事後分布からサンプリングする適切なギブスサンプラーを提示し、ギブスサンプラーが幾何学的な速度で定常分布に収束することを示しています。このため、ハンスの論文に加えて、これらの参考文献が役立つ可能性があります。

— グリーンパーカー
ソース

（+1）すばらしい答えです！

— -user795305

将来の誰にとっても-論文はすべて見る価値がありますが、ハンスの論文は、さまざまな分布のギブスサンプラーと、スタンに簡単に翻訳できる事前の階層表現を提供します。

— マイケルカレー