多重共線性が高い場合、LASSO係数は0に縮小されますか？

与えられた、LASSO係数と理由の理論的な行動は何ですか？ $x_2 = 2 x_1$

のでしょうが1やにシュリンクまたはその両方？ $x_1$ $x_2$ $0$

require(glmnet)
x1 = runif(100, 1, 2)
x2 = 2*x1
x_train = cbind(x1, x2)
y = 100*x1 + 100 + runif(1)
ridge.mod = cv.glmnet(x_train, y, alpha = 1)
coef(ridge.mod)

#3 x 1 sparse Matrix of class "dgCMatrix"
#                       1
#(Intercept) 1.057426e+02
#x1          9.680073e+01
#x2          3.122502e-15

lasso multicollinearity

— ジョン・ハス
ソース

両方の係数が実際にはゼロであるため、これが良いシミュレーションであるかどうかはわかりません。実際の関係がある場合の係数推定値の動作を確認することは少し興味深いです。

— dsaxton 2016年

シミュレーションが改善されました。私の質問が何であるかを説明したいので、シミュレーションを提供します。私はこの質問の理論的な結果にのみ興味があります。

— John Hass

モデルを特定できないため、予測できない動作になると思います。つまり、モデルフィッティング手順では、たとえば、およびではなく、およびであることをどのようにして知ることができるのでしょうか。どちらも「正しい」ため、できません。

β_{1} = 100

$\beta_1 = 100$

β_{2} = 0

$\beta_2 = 0$

β_{1} = 0

$\beta_1 = 0$

β_{2} = 50

$\beta_2 = 50$

— dsaxton 2016年

私はあなたの推論に同意します。それを説明する数学的な方法はありますか？

— John Hass

そうだと思いますがy = 100*x1 + 100 + runif(100)、そうでなければ、リサイクルされて他のすべてのエントリに均一に追加される単一の乱数を取得します。

— Firebug 2017

回答:

ことを通知

\begin{aligned} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} & = ‖ y - β_{1} x_{1} - β_{2} x_{2} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) \\ = ‖ y - (β_{1} + 2 β_{2}) x_{1} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) . \end{aligned}

$\begin{align*} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1 & = \|y - \beta_1 x_1 - \beta_2 x_2 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right). \end{align*}$

係数固定値の場合、ペナルティときに最小化され。これは、のペナルティが2倍に加重されているためです。これを表記すると、任意のについてを満たします。したがって、なげなわ推定器 $\beta_1 + 2\beta_2$ $|\beta_1| + |\beta_2|$ $\beta_1 = 0$ $\beta_1$

\tilde{β} = \arg min_{β : β_{1} + 2 β_{2} = K} | β_{1} | + | β_{2} |

$\tilde\beta = \arg\min_{\beta \, : \, \beta_1 + 2\beta_2 = K}|\beta_1| + |\beta_2|$

{\tilde{β}}_{1} = 0

$\tilde\beta_1 = 0$

K

$K$

\begin{aligned} \hat{β} & = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ = \arg min_{β \in R^{p}} ‖ y - (β_{1} + 2 β_{2}) x_{1} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) \\ = \arg_{β} min_{K \in R} min_{β \in R^{p} : β_{1} + 2 β_{2} = K} ‖ y - K x_{1} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) \\ = \arg_{β} min_{K \in R} {‖ y - K x_{1} ‖_{2}^{2} + λ min_{β \in R^{p} : β_{1} + 2 β_{2} = K} {(| β_{1} | + | β_{2} |)}} \end{aligned}

$\begin{align*} \hat\beta & = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \\ & = \arg\min_{\beta \in \mathbb{R}^p} \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \|y - K x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \left\{ \|y - K x_1 \|_2^2 + \lambda \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \left\{ \left( |\beta_1| + |\beta_2| \right) \right\} \right\} \end{align*}$ は満たし。OPの質問へのコメントが誤解を招く理由は、モデルにペナルティがあるためです：それら

{\hat{β}}_{1} = 0

$\hat\beta_1 = 0$

(0, 50)

$(0, 50)$ そして、の係数は同じエラーを与えるが、異なる当たり前！さらに、LARのようなものを見る必要はありません。この結果は、最初の原則からすぐに続きます。

(100, 0)

$(100,0)$

ℓ_{1}

$\ell_1$

Firebugによって指摘されたように、シミュレーションが矛盾した結果を示す理由はglmnet、特徴の単位分散に自動的にスケーリングするためです。つまり、の使用によりglmnet、場合に効果的になります。そこで、推定器は一意ではなくなりました：とはどちらもarg minにあります。実際、はような任意ののにあります。 $x_1 = x_2$ $(100,0)$ $(0,100)$ $(a,b)$ $\arg\min$ $a,b \geq 0$ $a+b = 100$

等しい特徴のこの場合、glmnetは1回の反復で収束します。最初の係数がソフトしきい値になり、次に2番目の係数がゼロにソフトしきい値になります。

これは、シミュレーションが特にを見つけた理由を説明しています。実際、フィーチャの順序に関係なく、2番目の係数は常にゼロになります。 $\hat\beta_2 = 0$

証明： WLOGは、機能が満たすと仮定します。座標降下（が使用するアルゴリズム）は、最初の反復を計算します：後にここで。次に、 $x \in \mathbb{R}^n$ $\|x\|_2 = 1$ glmnet

{\hat{β}}_{1}^{(1)} = S_{λ} (x^{T} y)

$\hat\beta_1^{(1)} = S_\lambda(x^T y)$

\begin{aligned} {\hat{β}}_{2}^{(1)} & = S_{λ} [x^{T} (y - x S_{λ} (x^{T} y))] \\ = S_{λ} [x^{T} y - x^{T} x (x^{T} y + T)] \\ = S_{λ} [- T] \\ = 0, \end{aligned}

$\begin{align*} \hat\beta_2^{(1)} & = S_\lambda \left[ x^T \left( y - x S_\lambda (x^T y) \right) \right] \\ & = S_\lambda \left[ x^T y - x^T x \left( x^T y + T \right) \right] \\ & = S_\lambda \left[ - T \right] \\ & = 0, \end{align*}$

T = {\begin{cases} - λ & if x^{T} y > λ \\ λ & if x^{T} y < - λ \\ 0 & otherwise \end{cases}

$T = \begin{cases} - \lambda & \textrm{ if } x^T y > \lambda \\ \lambda & \textrm{ if } x^T y < -\lambda \\ 0 & \textrm{ otherwise} \end{cases}$

{\hat{β}}_{2}^{(1)} = 0

$\hat\beta_2^{(1)}= 0$ 、座標降下の2回目の反復では、上記の計算が繰り返されます。帰納的に、すべての反復およびについてであることがわかります。従って報告すると停止基準が直ちに達成されるからです。

{\hat{β}}_{j}^{(i)} = {\hat{β}}_{j}^{(i)}

$\hat\beta_j^{(i)} = \hat\beta_j^{(i)}$

i

$i$

j \in {1, 2}

$j \in \{1,2\}$ glmnet

{\hat{β}}_{1} = {\hat{β}}_{1}^{(1)}

$\hat\beta_1 = \hat\beta_1^{(1)}$

{\hat{β}}_{2} = {\hat{β}}_{2}^{(1)}

$\hat\beta_2 = \hat\beta_2^{(1)}$

— user795305
ソース

glmnet機能のスケーリングがデフォルトでオンになっています。きっと確信しています。したがって、とはモデル内で同じになります。

x_{1}

$x_1$

x_{2}

$x_2$

— Firebug 2017

代わりにこれを試してください： ridge.mod=cv.glmnet(x_train,y,alpha=1, standardize = FALSE); coef(ridge.mod)

— Firebug

やった！素晴らしい思考、@ Firebug！これで、の係数は実際にゼロと推定されます。あなたの洞察を共有してくれてありがとう！

x_{1}

$x_1$

— user795305 2017

コードを再実行すると、の係数が数値的にゼロと区別できないことがます。 $x_2$

LASSOがその係数をゼロに設定する理由をよりよく理解するには、LASSOと最小角度回帰（LAR）の関係を調べる必要があります。LASSOは、特別な変更を加えたLARと見なすことができます。

LARのアルゴリズムは、おおよそ次のようなものです。空のモデル（切片を除く）から始めます。次に、と最も相関する予測変数、たとえば追加します。残差がおよび別の予測子変数と等しく相関するまで、その予測子の係数変更します。次に、3番目の予測子が残差と等しく相関するまで、との両方の係数を変更します。 $y$ $x_j$ $\beta_j$ $y - c - x_j\beta_j$ $x_j$ $x_k$ $x_j$ $x_k$ $x_l$ $y - c - x_j\beta_j -x_k\beta_k$

LASSOは、次のようなひねりを加えたLARと見なすことができます。モデルの予測子（「アクティブな」予測子）の係数がゼロになり次第、その予測子をモデルから削除します。これは、コリニア予測子でを回帰するときに発生します。両方が同時にモデルに追加され、それらの係数が変更されると、残差とのそれぞれの相関が比例して変更されますが、予測子の1つが削除されます最初にアクティブセットからゼロにヒットするため。2つの同一線上予測子のどちらになるかはわかりません。[EDIT：あなたがの順序逆転するとと、あなたが見ることができるの係数 $y$ $x_1$ $x_2$ $x_1$ ゼロに設定されます。したがって、glmnetアルゴリズムは、最初にこれらの係数を最初にゼロに設定するように見えますが、これらは設計行列で後で順序付けされます。]

これらのことをより詳細に説明している情報源は、フリードマン、ハスティ、ティブシラーニによる「統計学習の要素」の第3章です。

— マティアス・シュミットブライチャー
ソース