LASSOがラプラスを使用した線形回帰と同等である場合、ゼロのコンポーネントを持つセットに質量を設定するにはどうすればよいですか？

l o s s = ‖ y - バツ β ‖_{2}^{2} + λ ‖ β ‖_{1}

${\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1$

\exp （ - λ ‖ β ‖_{1} ）

$\exp(-\lambda \| \beta \|_1 )$

λ

$\lambda$

ビューのベイズの点から、私たちが言う、という事後確率を計算することができることを考えてみて、非ゼロのパラメータ推定値は、間隔のいずれかの指定されたコレクション内に存在し、 LASSOによってゼロに設定されたパラメータはゼロに等しいです。私が混乱しているのは、ラプラスの事前分布が連続的である（実際には絶対に連続的である）ことを考えると、の区間とシングルトンの積である集合にどのように質量があるのでしょうか？ $\{0\}$

lasso laplace-distribution

— グラントイズミルリアン
ソース

後部も連続PDFではないと思う理由は何ですか？事後の最大値が多くの0個のコンポーネントを持つポイントで発生するという事実は、事後が連続pdfではないことを意味するわけではありません。

— ブライアンボーチャーズ

後部は連続PDFです。制約付き最尤推定と見なされ、真のモデルに複数の回帰係数でゼロがあり、チューニング定数が十分に大きいときに同じデータ分布から繰り返し描画を想像すると、CMLEは常に同じコンポーネントがゼロに設定され、パラメータがゼロの場合、対応する信頼区間に広がります。ベイジアンの観点からは、これはそのようなセットに対して正の確率を持つことに相当します。私の質問は、これがどのように継続的な分布のためにそうすることができるかです。

— イズミリアングラント15

CLMEソリューションは、MAPの推定値と一致します。これ以上言うことはありません。

— Sycoraxは回復モニカは言う

CMLEソリューションは、後方からのサンプルではありません。

— ブライアンボルチャーズ

後部が低次元のセットに質量を置かないため、矛盾はありません。

— 西安

上記のすべてのコメントと同様に、LASSOのベイジアン解釈は、事後分布の期待値を取りません。これは、純粋主義者である場合に行うことです。その場合、データが与えられた場合に事後がゼロになる可能性は非常にわずかです。

実際には、LASSOのベイジアン解釈は、事後のMAP（Maximum A Posteriori）推定量を使用しています。おなじみのようですが、これは基本的にベイジアン最尤法であり、LASSOのパラメーターの推定量として、発生の最大確率（またはモード）に対応する値を使用します。分布は負の方向からゼロになるまで指数関数的に増加し、正の方向に指数関数的に減少するため、ベータが他の有意な値であることをデータが強く示唆しない限り、事後の値の最大値は0になる可能性があります。

要するに、あなたの直感は後部の平均に基づいているようですが、LASSOのベイジアン解釈は後部のモードを取ることに基づいています。

— www3
ソース