正則化に関する文献を調べていましたが、L2のレギュレーションとガウス事前分布、およびL1とゼロを中心としたラプラスとをリンクする段落がよく見られました。

これらの事前分布がどのように見えるかは知っていますが、たとえば線形モデルの重みに変換する方法はわかりません。L1では、正しく理解できれば、スパースソリューション、つまり、いくつかの重みが正確にゼロにプッシュされることを期待しています。また、L2では小さな重みが得られますが、重みはゼロではありません。

しかし、なぜそれが起こるのでしょうか？

さらに情報を提供したり、思考の道筋を明確にする必要がある場合はコメントしてください。

事前ラプラス分布の関係中央値（またはL1ノルム）を使用したが、このような従来あなたが正規分布（Stingler、1986年または参照と同じように、中央値ではなく、平均推定ことがわかったラプラス自身によって発見されたウィキペディア）。これは、ラプラス誤差分布による回帰が中央値を推定することを意味します（分位点回帰など）が、正規誤差はOLS推定を指します。

あなたが尋ねたロバストな事前分布は、ベイジアン設定におけるロバストなLasso回帰がラプラス事前分布を使用するのと同等であることに気づいたTibshirani（1996）によっても説明されました。係数のこのような事前分布は、ゼロを中心に（中心変数を使用）、テールが広いため、それを使用して推定されるほとんどの回帰係数は、正確にゼロになります。次の図をよく見ると、これは明らかです。ラプラス分布はゼロ付近にピークがあり（分布質量が大きい）、正規分布はゼロ付近で拡散しているため、ゼロ以外の値は確率質量が大きくなります。堅牢な事前分布のその他の可能性は、コーシー分布または分布です。$t$

そのような事前分布を使用すると、いくつかの中程度のサイズといくつかの大きなサイズ（長い尾）の多くのゼロ値係数になりやすくなりますが、通常の事前分布では、正確にゼロではない中程度の係数が得られますが、また、ゼロからそれほど遠くない。

（画像ソースTibshirani、1996）

---

スティグラー、SM（1986）。統計の歴史：1900年以前の不確実性の測定。マサチューセッツ州ケンブリッジ：ハーバード大学出版局のベルナップ出版。

Tibshirani、R.（1996）。投げ縄による回帰収縮と選択。王立統計学会誌。シリーズB（方法論）、267-288。

ゲルマン、A。、ジャクリン、A。、ピッタウ、GM、およびス、Y.-S。（2008）。ロジスティックモデルおよびその他の回帰モデルの弱く有益なデフォルトの事前分布。応用統計学、2（4）、1360-1383。

ノートン、RM（1984）。二重指数分布：計算を使用して最尤推定量を見つけます。アメリカの統計学者、38（2）：135-136。

頻繁なビュー👀

ある意味では、両方の正則化を「重みの縮小」と考えることができます。L2は重みのユークリッドノルムを最小化し、L1はマンハッタンノルムを最小化します。この考え方に従って、L1とL2の等電位はそれぞれ球形と菱形であるため、Bishopのパターン認識と機械学習に示されているように、L1は解が疎になる可能性が高くなります。

ベイジアンビュー👀

ただし、事前確率が線形モデルにどのように関係するかを理解するには、通常の線形回帰のベイズ解釈を理解する必要があります。Katherine Baileyのブログ投稿は、このための優れた記事です。簡単に言えば、線形モデルで通常分布するiidエラーを想定しています

$$\mathbf{y} = \mathbf{\theta}^\top\mathbf{X} + \mathbf\epsilon$$

$N$$y_i, i = 1, 2, \ldots, N$$\epsilon_k\sim \mathcal{N}(0,\sigma)$

$\mathbf{y}$

$$\begin{equation} p(\mathbf{y}|\mathbf{X}, \mathbf{\theta}; \mathbf{\epsilon}) = \mathcal{N}(\mathbf{\theta}^\top\mathbf{X}, \mathbf{\sigma}) \end{equation}$$

結局のところ...最尤推定器は、誤差の正規性の仮定の下で、予測された出力値と実際の出力値の間の二乗誤差を最小化することと同じです。

$$\begin{align*} {\bf \hat{\theta}_{\text{MLE}}} &= \arg\max_{\bf \theta} \log P(y | \theta) \\ &=\underset{\theta}{\arg\min} \sum_{i=1}^n(y_i - \theta^\top{\mathbf{x}_i})^2 \end{align*}$$

重みに優先順位を付けるなどの正則化

線形回帰の重みに不均一な事前分布を設定した場合、事後確率（MAP）の最大推定値は次のようになります。

$$\begin{equation*} {\bf \hat{\theta}_{\text{MAP}}} = \arg\max_{\bf \theta} \log P(y | \theta) + \log P(\theta) \end{equation*}$$

ブライアン・ケンのブログ投稿に由来する場合、$P(\theta)$ はラプラス分布で、L1正則化と同等です $\theta$。

同様に、 $P(\theta)$ はガウス分布であり、L2の正則化と同等です $\theta$。

今、私たちは別のビューしている前重みにラプラスを置く理由には、より多くの可能性が高いスパース性を誘導することである：ので、ラプラス分布がよりゼロの周りに集中している、私たちの重みは、より可能性がゼロでなければなりません。