なげなわの0成分を与える最小の

{\hat{β}}^{λ} = \arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,$

i^{t h}

$i^{th}$

x_{i} \in R^{p}

$x_i \in \mathbb{R}^p$

X \in R^{n \times p}

$X \in \mathbb{R}^{n \times p}$

y_{i}

$y_i$

i = 1, \dots n

$i=1, \dots n$

我々が知っているため $\lambda \geq \frac{1}{n} \|X^T y\|_\infty$ 、投げ縄推定 $\hat\beta^\lambda = 0$ 。（たとえば、LassoおよびRidge調整パラメータースコープを参照してください。）他の表記では、これは表し $\lambda_\max = \frac{1}{n} \|X^T y\|_\infty$ ます。ことに注意してください $\lambda_\mathrm{max} = \sup_{\hat\beta^\lambda \ne 0} \lambda.$ これは、なげなわソリューションパスを示す次の画像で視覚的に確認できます。

であることに注意してください遠くプロットの右側、すべての係数がゼロです。これは、上記の発生し $\lambda_\mathrm{max}$ ます。

このプロットから、我々はまた、通知にすることを遠い左側、係数の全てがゼロでない：の値何ですのいずれかのコンポーネントれる最初はゼロですが？つまり、と関数としての何ですか？閉じた形式のソリューションに興味があります。特に、たとえば、LARSが計算によって結び目を見つけることができると示唆するような、アルゴリズムのソリューションには興味がありません。 $\lambda$ $\hat\beta^\lambda$

λ_{min} = min_{\exists j s . t . {\hat{β}}_{j} = 0} λ

$\lambda_\textrm{min} = \min_{\exists j \, \mathrm{ s.t. } \, \hat\beta_j = 0} \lambda$

X

$X$

y

$y$

私の興味にも関わらず、は閉じた形式では利用できないようです。そうでない場合、相互検証中に調整パラメータの深さを決定する際に投げ縄計算パッケージがそれを利用する可能性が高いからです。これに照らして、私は理論的にについて示すことができるものに興味があり、（まだ）特に閉じた形式に興味があります。 $\lambda_\mathrm{min}$ $\lambda_\mathrm{min}$

lasso regularization

— user795305
ソース

これは、glmnetの論文に記載され、証明されています：web.stanford.edu/~hastie/Papers/glmnet.pdf

— マシュードゥルーリー

@MatthewDruryこれを共有してくれてありがとう！ただし、このホワイトペーパーは、あなたが提案していることを共有しているようには見えません。特に、私のはことに注意してください。

λ_{max}

$\lambda_\max$

λ_{min}

$\lambda_\min$

— user795305

[tuning-parameter]タグが必要ですか？

— アメーバは、モニカーを復活させる

あなたは正しい、投げ縄ソリューションの閉じたフォームは一般に存在しません（stats.stackexchange.com/questions/174003/…を参照）。ただし、larsは少なくとも、何が起こっているのか、どの正確な条件で/いつ変数を追加/削除できるのかを教えてくれます。私はあなたが得ることができるこのようなものが最高だと思います。

— chRrr

@chRrrそれが完全に正しいとは言えません：、であることがわかります。つまり、解が0の極端な場合、閉じた形式になります。投げ縄の推定が密である（つまりゼロがない）極端な場合に同様のことが当てはまるかどうかを尋ねています。確かに、の正確なエントリにさえ興味がありません-それらがゼロかどうかだけです。

{\hat{β}}^{λ} = 0

$\hat\beta^\lambda = 0$

λ \geq \frac{1}{n} ‖ X^{t} y ‖_{\infty}

$\lambda \geq \frac{1}{n} \|X^t y\|_\infty$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

— user795305

質問で説明されている投げ縄推定は、次の最適化問題に相当するラグランジュ乗数です。

minimize f (β) subject to g (β) \leq t

${\text{minimize } f(\beta) \text{ subject to } g(\beta) \leq t}$

\begin{aligned} f (β) & = \frac{1}{2 n} | | y - X β | |_{2}^{2} \\ g (β) & = | | β | |_{1} \end{aligned}

$\begin{align} f(\beta) &= \frac{1}{2n} \vert\vert y-X\beta \vert\vert_2^2 \\ g(\beta) &= \vert\vert \beta \vert\vert_1 \end{align}$

この最適化には、多次元球とポリトープ（Xのベクトルがスパンする）の間の接触点を見つける幾何学的表現があります。ポリトープの表面は表します。球の半径の二乗は関数を表し、表面が接触すると最小化されます。 $g(\beta)$ $f(\beta)$

以下の画像は、グラフィカルな説明を提供します。画像は、長さ3のベクトルに関する次の単純な問題を利用しました（簡単にするために、図面を作成できます）。

[\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \end{matrix}] = [\begin{matrix} 1.4 \\ 1.84 \\ 0.32 \end{matrix}] = β_{1} [\begin{matrix} 0.8 \\ 0.6 \\ 0 \end{matrix}] + β_{2} [\begin{matrix} 0 \\ 0.6 \\ 0.8 \end{matrix}] + β_{3} [\begin{matrix} 0.6 \\ 0.64 \\ - 0.48 \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ϵ_{3} \end{matrix}]

$\begin{bmatrix} y_1 \\ y_2 \\ y_3\\ \end{bmatrix} = \begin{bmatrix} 1.4 \\ 1.84 \\ 0.32\\ \end{bmatrix} = \beta_1 \begin{bmatrix} 0.8 \\ 0.6 \\ 0\\ \end{bmatrix} +\beta_2 \begin{bmatrix} 0 \\ 0.6 \\ 0.8\\ \end{bmatrix} +\beta_3 \begin{bmatrix} 0.6 \\ 0.64 \\ -0.48\\ \end{bmatrix} + \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \epsilon_3\\ \end{bmatrix}$

そして、制約を最小化します

ϵ_{1}^{2} + ϵ_{2}^{2} + ϵ_{3}^{2}

$\epsilon_1^2+\epsilon_2^2+\epsilon_3^2$

a b s (β_{1}) + a b s (β_{2}) + a b s (β_{3}) \leq t

$abs(\beta_1)+abs(\beta_2)+abs(\beta_3) \leq t$

画像が示しています：

赤い面は、Xにまたがるポリトープである制約を示しています。
そして、緑色の表面は、最小化された表面である球体を表しています。
青い線は、なげなわパス、またはを変更したときに見つかる解を示しています。 $t$ $\lambda$
緑のベクトルは、OLSソリューション（またはとして選択されたソリューションを示しています。 $\hat{y}$ $\beta_1=\beta_2=\beta_3=1$ $\hat{y} = x_1 + x_2 + x_3$
3つの黒ベクトルは、、およびです。 $x_1 = (0.8,0.6,0)$ $x_2 = (0,0.6,0.8)$ $x_3 = (0.6,0.64,-0.48)$

3つの画像を表示します。

最初の画像では、ポリトープの点のみが球体に接触しています。この画像は、投げ縄ソリューションがOLSソリューションの単なる倍数ではない理由を非常によく示しています。OLSソリューションの方向により、和がより強くなります。この場合、単一ののみがゼロ以外です。 $\vert \beta \vert_1$ $\beta_i$
2番目の画像では、ポリトープの尾根が球体に接触しています（高次元では、高次元の類似物が得られます）。 この場合、複数のはゼロ以外です。 $\beta_i$
3番目の画像では、ポリトープのファセットが球体に接触しています。この場合、すべてのはゼロ以外 $\beta_i$ です。

最初のケースと3番目のケースがあるまたはの範囲は、単純な幾何学的表現のために簡単に計算できます。 $t$ $\lambda$

ケース1：ゼロ以外の単一ののみ $\beta_i$

ゼロ以外のは、関連するベクトルがとの共分散の最高絶対値を持つものです（これは、OLS解に最も近いparrallelotopeの点です）。ラグランジュ乗数を計算するには、（負または正の方向にを増やすかどうかに応じた微分）を使用して、少なくともゼロ以外のがあります。 $\beta_i$ $x_i$ $\hat{y}$ $\lambda_{max}$ $\beta$ $\pm\beta_i$ $\beta_i$

\frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2} - λ | | β | |_{1})}{\pm \partial β_{i}} = 0

$\frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2 - \lambda \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i} = 0$

につながる

λ_{m a x} = \frac{(\frac{1}{2 n} \frac{\partial (| | y - X β | |_{2}^{2}}{\pm \partial β_{i}})}{(\frac{| | β | |_{1})}{\pm \partial β_{i}})} = \pm \frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2}}{\partial β_{i}} = \pm \frac{1}{n} x_{i} \cdot y

$\lambda_{max} = \frac{ \left( \frac{1}{2n}\frac{\partial ( \vert \vert y - X\beta \vert \vert_2^2}{\pm \partial \beta_i} \right) }{ \left( \frac{ \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i}\right)} = \pm \frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2}{\partial \beta_i} = \pm \frac{1}{n} x_i \cdot y$

これは、コメントに記載されていると同じです。 $\vert \vert X^Ty \vert \vert_\infty$

これは、ポリトープの先端が球体に接触している特殊な場合にのみ当てはまることに注意してください（したがって、一般化は簡単ですが、これは一般的な解決策ではありません）。

ケース3：すべてのはゼロ以外です。 $\beta_i$

この場合、ポリトープのファセットが球体に接触しています。その場合、なげなわパスの変更の方向は、特定のファセットの表面に垂直です。

ポリトープには正と負の寄与を持つ多くのファセットがあります。最後のなげなわステップの場合、なげなわソリューションがolsソリューションに近い場合、の寄与はOLSソリューションの符号で定義する必要があります。ファセットの法線は、関数、点でのベータの和の値をとることによって定義できます。 $x_i$ $x_i$ $\vert \vert \beta(r) \vert \vert_1$ $r$

n = - \nabla_{r} (| | β (r) | |_{1}) = - \nabla_{r} (sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T} r) = - sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}

$n = - \nabla_r ( \vert \vert \beta(r) \vert \vert_1) = -\nabla_r ( \text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^Tr ) = -\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T$

この方向のベータの同等の変更は次のとおりです。

{\vec{β}}_{l a s t} = (X^{T} X)^{- 1} X n = - (X^{T} X)^{- 1} X^{T} [sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}]

$\vec{\beta}_{last} = (X^TX)^{-1}X n = -(X^TX)^{-1}X^T [\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T]$

転置（）をシフトする代数トリックの後、括弧の分布は $A^TB^T = [BA]^T$

{\vec{β}}_{l a s t} = - (X^{T} X)^{- 1} sign (\hat{β})

$\vec{\beta}_{last} = - (X^TX)^{-1} \text{sign} (\hat{\beta})$

この方向を正規化します。

{\vec{β}}_{l a s t 、 n o r m a l 私 z e d} = \frac{{\vec{β}}_{l a s t}}{\sum {\vec{β}}_{l a s t} \cdot s 私 g n （ \hat{β} ）}

$\vec{\beta}_{last,normalized} = \frac{\vec{\beta}_{last}}{\sum \vec{\beta}_{last} \cdot sign(\hat{\beta})}$

すべての係数がゼロ以外のを見つけるため。OLSソリューションから、係数の1つがゼロになるポイントまで計算するだけです。 $\lambda_{min}$

d = m 私 n （ \frac{\hat{β}}{{\vec{β}}_{l a s t 、 n o r m a l 私 z e d}} ） という条件で \frac{\hat{β}}{{\vec{β}}_{l a s t 、 n o r m a l 私 z e d}} > 0

$d = min \left( \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} \right)\qquad \text{with the condition that } \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} >0$

、そしてこの時点で微分を評価します（以前のようにを計算するとき）。二次関数にはます： $\lambda_{max}$ $q'(x) = 2 q(1) x$

λ_{m i n} = \frac{d}{n} | | X {\vec{β}}_{l a s t, n o r m a l i z e d} | |_{2}^{2}

$\lambda_{min} = \frac{d}{n} \vert \vert X \vec{\beta}_{last,normalized} \vert \vert_2^2$

画像

ポリトープの点が球に接触している場合、単一のはゼロ以外です： $\beta_i$

ポリトープの尾根（または複数の次元が異なる）が球に接触しているため、多くのはゼロではありません： $\beta_i$

ポリトープのファセットが球体に接触している場合、すべてのはゼロ以外です： $\beta_i$

コード例：

library(lars)    
data(diabetes)
y <- diabetes$y - mean(diabetes$y)
x <- diabetes$x

# models
lmc <- coef(lm(y~0+x))
modl <- lars(diabetes$x, diabetes$y, type="lasso")

# matrix equation
d_x <- matrix(rep(x[,1],9),length(x[,1])) %*% diag(sign(lmc[-c(1)]/lmc[1]))
x_c = x[,-1]-d_x
y_c = -x[,1]

# solving equation
cof <- coefficients(lm(y_c~0+x_c))
cof <- c(1-sum(cof*sign(lmc[-c(1)]/lmc[1])),cof)

# alternatively the last direction of change in coefficients is found by:
solve(t(x) %*% x) %*% sign(lmc)

# solution by lars package
cof_m <-(coefficients(modl)[13,]-coefficients(modl)[12,])

# last step
dist <- x %*% (cof/sum(cof*sign(lmc[])))
#dist_m <- x %*% (cof_m/sum(cof_m*sign(lmc[]))) #for comparison

# calculate back to zero
shrinking_set <- which(-lmc[]/cof>0)  #only the positive values
step_last <- min((-lmc/cof)[shrinking_set])

d_err_d_beta <- step_last*sum(dist^2)

# compare
modl[4] #all computed lambda
d_err_d_beta  # lambda last change
max(t(x) %*% y) # lambda first change
enter code here

注：最後の3行は最も重要です

> modl[4]            # all computed lambda by algorithm
$lambda
 [1] 949.435260 889.315991 452.900969 316.074053 130.130851  88.782430  68.965221  19.981255   5.477473   5.089179
[11]   2.182250   1.310435

> d_err_d_beta       # lambda last change by calculating only last step
    xhdl 
1.310435 
> max(t(x) %*% y)    # lambda first change by max(x^T y)
[1] 949.4353

StackExchangeStrikeによって書かれました。

— セクストゥス・エンピリカス
ソース

編集を含めてくれてありがとう！これまでの私の読書では、「ケース1」のサブセクションを過ぎて行き詰まっています。そこに導出されたの結果は、絶対値または最大値を含まないため間違っています。さらに、派生には符号の誤り、微分可能性が誤って仮定される場所、「任意の選択」に関して微分すること、および誤って評価される微分があるため、誤りがあることを知っています。率直に言って、有効な「」記号はありません。

λ_{max}

$\lambda_\max$

i

$i$

=

$=$

— user795305

プラスマイナス記号で修正しました。ベータ版の変更は、プラスまたはマイナスになります。最大値と「任意の選択」に関して... "関連するベクトルがと最も高い共分散を持つもの " $x_i$ $\hat{y}$

— Sextus Empiricus

更新していただきありがとうございます！ただし、まだ問題があります。たとえば、は誤って評価されます。

\frac{\partial}{\partial β_{i}} ‖ y - X β ‖_{2}^{2}

$\frac{\partial}{\partial \beta_i} \|y - X \beta\|_2^2$

— user795305

もし次いで、この相関は方程式に入るため、 s = 0の場合、に対する接線の変更のみがベクトル長さを変更している

β = 0

$\beta=0$

\frac{\partial}{\partial β_{i}} | | y - X β | |_{2}^{2}

$\frac{\partial}{\partial\beta_i} \vert \vert y - X\beta \vert \vert_2^2$

= \frac{\partial | | y - バツ β | |_{2}}{\partial β_{私}} 2 | | y - バツ β | |_{2}

$= \frac{\partial \vert \vert y - X\beta \vert \vert_2}{\partial\beta_i} 2 \vert \vert y - X\beta \vert \vert_2$

= \frac{\partial | | y - s {バツ}_{私} | |_{2}}{\partial s} 2 | | y - バツ β | |_{2}

$= \frac{\partial \vert \vert y - s x_i \vert \vert_2}{\partial s} 2 \vert \vert y - X\beta \vert \vert_2$

= 2 c o r （ {バツ}_{私} 、 y ） | | {バツ}_{私} | |_{2} | | y | |_{2}

$= 2 cor(x_i,y) \vert \vert x_i \vert \vert_2 \vert \vert y \vert \vert_2$

= 2 {バツ}_{私} \cdot y

$= 2 x_i \cdot y$

s x_{i}

$s x_i$

y

$y$

y - s x_{i}

$y - s x_i$

— Sextus Empiricus

β = 0

$\beta = 0$

λ_{max}

$\lambda_\max$

なげなわの0成分を与える最小の

ケース1：ゼロ以外の単一ののみβiβi\beta_i

ケース3：すべてのはゼロ以外です。βiβi\beta_i

画像

コード例：

ケース1：ゼロ以外の単一ののみ $\beta_i$

ケース3：すべてのはゼロ以外です。 $\beta_i$