リッジ回帰–ベイジアン解釈

事前分布が適切に選択されていれば、リッジ回帰は事後分布の平均として導出できると聞いています。事前によって回帰係数に設定された制約（たとえば、0付近の標準正規分布）は同一である/係数の二乗サイズに設定されたペナルティを置き換えるという直感はありますか？この等価性が成立するためには、事前分布はガウス分布である必要がありますか？

$\beta=0$$|\beta|$（L1、ラプラスまたは二重指数分布）ペナルティ。他の多くの罰則（事前）が利用可能です。ベイジアンのアプローチには、確実な解釈（および確実な信頼区間）が得られるという利点がありますが、ペナルティ付き最尤推定（リッジ、投げ縄など）は得られます$P$頻度の高いアプローチは偏った（ゼロに向かって縮小した）推定量によってやや混乱するため、解釈が難しい値と信頼区間。

2つのポイント：

ベイジアンの場合の事後分布は分布です。リッジ回帰推定値は単にベクトルです$\hat{\beta}$ディストリビューションではありません。したがって、それらは完全に同等ではありません。

多変量正規事前尤度および多変量正規尤度の場合、事後分布は、適切に選択されたリッジパラメーターのリッジ回帰推定である平均をもつ多変量正規であることが事実です。

これの証明は、事前確率と尤度の特定の形式に依存し、より一般的な事前確率または尤度関数では機能しません。