なげなわペナルティが二重指数関数（ラプラス）事前に等しいのはなぜですか？

回帰パラメーターベクトルのLasso推定値は、各事前分布が二重指数分布（ラプラス分布とも呼ばれる）である$B$の事後モードと同等であることを多くの参考文献で読みました。$B$$B_i$

私はこれを証明しようとしましたが、誰かが詳細を具体化できますか？

シンプルレットのちょうど変数の1つの観測を検討するために、このような Yを| μ 、σ 2〜N （μ 、σ 2）$Y$

$$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$$

と不適切な事前 F （σ ）α 1 σ > 0。$\mu \sim \mbox{Laplace}(\lambda)$$f(\sigma) \propto \mathbb{1}_{\sigma>0}$

その後の関節密度に比例し、 F （Y 、μ 、σ 2 | λ ）α $Y, \mu, \sigma^2$

$$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$$

ログを取ると伴わない用語廃棄、 ログF （Y 、μ 、σ 2）= - $\mu$

$$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$$

したがって、（1）の最大値は、MAP推定値となり、実際に我々 reparametrize後の投げ縄の問題です。 $\tilde \lambda = \lambda \sigma^2$

回帰への拡張は明らかです-置き換えるとX βノーマル見込みで、そして上の事前設定βは、独立したラプラスのシーケンスである（λ ）のディストリビューション。$\mu$$X\beta$$\beta$$(\lambda)$

これは、LASSOが最適化する量を調べることで明らかです。

ための先行を取る平均ゼロといくつかの規模を持つ独立したラプラスしますτ。$\beta_i$$\tau$

したがって、。$p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

データのモデルは、通常の回帰仮定され。$y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

事後のログのマイナス2倍の形式になりました

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

$\lambda=\sigma^2/\tau$$-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

$\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

$\beta$

$\sigma^2$

$\beta$