缶

11

もし、でき増加するとき増加？ $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ $\|\beta^*\|_2$ $\lambda$

ここに画像の説明を入力してください

lasso

— ジユアン
ソース

10

答えはイエスです、そしてあなたは、グラフィカル証明していすぐそこに。 $\ell_2$

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

実際、解決したい問題は次のように表すことができます。

$d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

$d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— トミーL
ソース

X

$X$

y

$y$

3

$X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

$\beta^*$ $\ell_1$ $\|\beta^*\|_2$

実際、ハスティら。フォワードステージワイズ回帰と単調なげなわで述べたプロファイルパスの単調性の必要かつ十分な条件：

ここに画像の説明を入力してください

論文のセクション6では、上記の条件に違反し、非単調性を示す区分線形基底関数に基づいて人工データセットを作成しました。しかし、運が良ければ、同様の動作を示すランダムなデータセットを作成することもできますが、より簡単な方法です。ここに私のRコードがあります：

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

$X$ $\beta$ $\beta^*$

ここに画像の説明を入力してください

$\lambda$ $\|\beta^*\|_2$

ここに画像の説明を入力してください

$\lambda$ $\|\beta^*\|_2$ $\lambda$

— ジユアン
ソース