なげなわ、リッジ、またはエラスティックネットソリューションのパスが単調になる条件の明確なセットはありますか？

このなげなわプロット（glmnet）の結論は、単調ではないなげなわ推定器の解の経路を示しています。つまり、係数の一部は、縮小する前に絶対値が増加します。

私は、データセットのいくつかの種類にこれらのモデルを適用し、決してこの動作を見て「野生では、」今日は、彼らがいたことを想定していたまできましたいつも単調。

ソリューションパスが単調であることが保証される条件の明確なセットはありますか？パスの方向が変わると、結果の解釈に影響しますか？

lasso ridge-regression elastic-net

どんな意味でモノトーン？あなたがそれを何らかの関数のグラフとして扱いたいなら、私にはあまり意味がないようです。

— Henry.L

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

注：投げ縄が係数を縮小する方法を理解することは、この質問とstats.stackexchange.com/questions/145299/…の

— user795305

これをどのように逃したかはわかりませんが、上記の質問での彼自身の質問に対するOPの応答について、投げ縄で質問に回答しています。

— -user795305

パスが単調であるための十分な条件、つまり正規直交設計を提供できます。 $X$

正規直交設計行列、つまりに変数がある場合、ます。正規直交設計では、OLS回帰係数は単にです。 $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

LASSOのKarush-Khun-Tucker条件は、次のように単純化されます。

\frac{{バツ}^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

どこサブ勾配です。したがって、各に対して、、投げ縄推定値に対する閉形式の解を持っている： $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

これは単調です。これは必要な条件ではありませんが、非単調性はの共変量の相関から生じている必要があることがわかります。 $\lambda$ $X$

— カルロス・シネリ
ソース