閉じた形のなげなわ解の導出

投げ縄の問題についてはそのように。ソフトしきい値の結果が頻繁に表示されます正規直交場合。ソリューションがそのように「簡単に示される」ことができると主張されていますが、有効なソリューションを見たことはありません。誰かが1つを見た、またはおそらく派生させたことがありますか？ $\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— ゲイリー
ソース

これは少し混乱しているようです。最初に制約

を仮定

t

$t$ し、ソリューションではパラメーター

を導入します

γ

$\gamma$ 。これら2つの問題は、二重の問題を介して関連していると思われますが、探しているものを明確にできるかもしれません。

— 枢機

@cardinalに部分的に応答し、

を最小化する

β

$\beta$ を見つけることは、

対象になり、

を最小化する

を見つけることと同じです。

。

と

間には1対1の関係があります。ソフトしきい値の結果がそうなる理由を「簡単に」見るために、2番目の式を解くことをお勧めします（私のコメント）。

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$

β

$\beta$

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$

t

$t$

γ

$\gamma$

別のノート、発見

β

$\beta$ その最小化

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ 、問題を

β_{j} > 0

$\beta_j >0$ 、

β_{j} < 0

$\beta_j<0$ 、および

のケースに分割し

β = 0

$\beta=0$ 。

@cardinalああ、1-1は間違っています。修正：すべての

t \geq 0

$t\geq0$ について、

見つけることができます

γ \geq 0

$\gamma\geq 0$ 。

素晴らしい議論をありがとう！コースラでこのビデオに出会いました- 投げ縄座標降下更新の導出は、この議論に非常に関連があり、ソリューションを非常にエレガントに説明します。将来の訪問者に役立つかもしれません:

— zorbar

回答:

これは、Karush–Kuhn–Tucker条件を介したかなり経済的なアプローチなど、さまざまな方法で攻撃できます。

以下は非常に基本的な代替引数です。

直交設計の最小二乗ソリューション

仮定直交列で構成されています。そして、最小二乗解は $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

いくつかの同等の問題

ラグランジアン形式を介して、質問で考慮される問題と同等の問題がであることがわかります

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

最初の項を展開すると、られ、は何も含まれていません興味のある変数のうち、それを破棄して、さらに別の同等の問題、 $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

注目その、以前の問題を書き換えることができるよう $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

現在、目的関数は目的の合計であり、それぞれが別個の変数に対応しているため、それぞれを個別に解くことができます。 $\beta_i$

全体はその部分の合計に等しい

特定の修正します。次に、を最小化します $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

場合、が必要ですそうでない場合は、符号を反転させて目的関数の値を小さくすることができます。同様に、場合、選択する必要があります。 $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

ケース1：。以降、及びに関して、この微分、ゼロに等しく設定します、、これは右辺が負でない場合にのみ実行可能であるため、この場合、実際の解は $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

ケース2：。これは、が必要であるため、なければならないことを意味しに関して微分し、ゼロに設定すると、ます。ただし、これを確実に実行するには、が必要ですこれは、 $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

どちらの場合も、目的のフォームが得られたので、完了です。

最後の挨拶

— 枢機卿
ソース

素晴らしい記事@cardinal！

— ゲイリー

+1後半全体は、目的関数がに頂点を持つ2つの凸放物線の部分の結合。ここで、場合は負の符号が、そうでない場合は正の符号が使用されます。この式は、下の頂点を選択するための派手な方法です。

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

可能であれば、KKT最適条件を使用して派生を確認したいと思います。この結果を導き出す他の方法はありますか？

— user1137731

@枢機inal：素晴らしい派生に感謝します。1つの観察。思い出すと、直交列の行列は、直交（別名正規直交）行列と同じではありません。次に、対角行列（必ずしも恒等行列ではない）。（元の質問にあるように）直交行列の仮定では、あり、すべてが素晴らしく見えます:)

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— Oleg Melnikov

@cardinal「そうでなければサインを反転させて目的関数の値を下げることができるので」と言う理由がわかりません。目的関数の導関数を使用しています。目的関数がより高いか低い場合、だれが気にかけますか。私たちが関心を持っているのは、微分がゼロに設定されていることです。定数だけ高いか低いかは、argminに影響しません。

— user13985

の列である共変量も、なるように標準化されていると仮定します。これは後の便宜のためだけですは対角線にすぎないので、表記が重くなるだけです。さらに、と仮定します。これは、結果を保持するために必要な前提です。最小二乗推定器定義します。次に、（ラグランジュ形の）なげなわ推定器 $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ end {align *} ここで、は関数およびソフトしきい値の量で、

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ 。

これは、Cardinalが解決する近位演算子の詳細な派生をスキップする派生ですが、閉じたフォームを可能にする主な手順を明確にしたいと思います。

— user795305
ソース