RidgeまたはLasso回帰は実際にどのように機能しますか？

ここで非常に基本的な質問ですが、残差平方和に「ペナルティ」（係数の2乗の和とスカラーの和）を追加すると、大きな係数をどのように減らすことができるか（数学ではなく）を理解したいと思います。ありがとう！

regression least-squares regularization

— TmSmth
ソース

：グラフィカル/視覚的直観のためにこれらを見ていstats.stackexchange.com/questions/350046/...、stats.stackexchange.com/questions/351631/...

— ザビエル・ブーレSicotte

最小化問題の "ペナルティ"表現は、制約最適化問題の不規則な形にすぎないためです。

中央揃えの変数を想定します。lassoとridgeのどちらの場合も、制約のないターゲット関数は、通常の二乗残差の合計です。つまり、最小化するリグレッサを指定：すべての。 $p$

R S S （ β ） = Σ_{私 = 1}^{ん} （ y_{私} - （ {バツ}_{私 、 1} β_{1} + \dots + {バツ}_{私 、 p} β_{p} ） ）^{2} 。

$RSS(\boldsymbol{\beta}) = \sum_{i=1}^n (y_i-(x_{i,1}\beta_1 +\dots +x_{i,p}\beta_p))^2.$

β = (β_{1}, \dots, β_{p})

$\boldsymbol{\beta} =(\beta_1,\dots, \beta_p)$

リッジ回帰の場合は、を最小化して、値を指定します。小さな値の場合、最小限に抑えるだけの標準的な最小二乗シナリオと同じ解決策を導き出すことは不可能ですについて考えてから、なる可能性のある解のみ。 $RSS(\boldsymbol{\beta})$

Σ_{私 = 1}^{p} β_{p}^{2} \leq t_{r 私 d g e} 、

$\sum_{i=1}^p\beta_p^2 \leq t_{ridge},$

t_{r i d g e} \geq 0

$t_{ridge}\geq 0$

t_{r i d g e}

$t_{ridge}$

R S S (β)

$RSS(\boldsymbol{\beta})$

t_{r i d g e} = 0

$t_{ridge}=0$

β_{1} \equiv \dots \equiv β_{p} = 0

$\beta_1\equiv \dots \equiv \beta_p = 0$

一方、投げ縄の場合は、をの制約の下で最小化します一部の。 $RSS(\boldsymbol{\beta})$

Σ_{私 = 1}^{p} | β_{p} | \leq t_{l a s s o} 、

$\sum_{i=1}^p|\beta_p| \leq t_{lasso},$

t_{l a s s o} \geq 0

$t_{lasso}\geq 0$

両方の制約付き最適化問題は、制約なしの最適化問題の観点から同等にフォーラム化できます。つまり、投げ縄の場合：同等に最小化できます

Σ_{私 = 1}^{ん} （ y_{私} - （ {バツ}_{私 、 1} β_{1} + \dots + {バツ}_{私 、 p} β_{p} ） ）^{2} + λ_{l a s s o} Σ_{私 = 1}^{p} | β_{p} | 。

$\sum_{i=1}^n (y_i-(x_{i,1}\beta_1 +\dots +x_{i,p}\beta_p))^2 + \lambda_{lasso}\sum_{i=1}^p|\beta_p|.$

— BloXX
ソース

おかげで、「制約付きから制約なし」の部分を深く

— 掘り下げる