LARSのなげなわ修正

Larsアルゴリズムを変更してLassoを生成する方法を理解しようとしています。私はLARSを理解していますが、Tibshiraniらによる論文からLassoの修正を見ることができません。特に、ゼロ以外の座標の符号が現在の相関の符号と一致しなければならないという符号条件がなぜなのかわかりません。誰かがこれで私を助けてくれますか？元のL-1ノルム問題、つまり投げ縄でKKT条件を使用した数学的証明を探していると思います。どうもありがとう！

LET （サイズN × P標準入力の意味セット）、Y（サイズN × 1）応答、中心β（サイズP × 1）回帰ウェイトとλ > 0 L 1ノルムpenalisation係数。$X$$n\times p$$y$$n \times 1$$\beta$$p \times 1$$\lambda > 0$$l_1$

LASSO問題は、β ∗を書き込み ます

$$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$$

すべての値についてこれを解くと、いわゆるLASSO正則化パスβ ∗（λ ）が得られます。$\lambda > 0$$\beta^*(\lambda)$

ペナルティ係数固定値（つまり、アクティブな予測子の固定数= LARSアルゴリズムの固定ステップ）については、β ∗が満たされることを示すことができます（この回答のように、KKT定常条件を単に書き出す）$\lambda^*$$\beta^*$

$$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$$

アクティブ予測子の集合を表します。$A$

なぜなら正でなければならない（それはpenalisation係数である）、それの符号ことは明らかであるβ *（任意の非ゼロ従って活性予測の重み）のそれと同じであるべきであるX T（Y - X β ∗）= X T a rすなわち現在の回帰残差との相関。$\lambda^*$$\beta_a^*$$X_a^T (y - X\beta^*) = X_{a}^T r$

@ Mr._Whiteは、LARSとLassoの主な違いを直感的に説明してくれました。私が追加する唯一の点は、投げ縄が（種類）後方選択アプローチのようなものであり、それらの相関が存在する（上の正規化）用語が存在する限り、各ステップで用語をノックアウトすることです。LARSはすべてをそこに保持します。基本的に、可能な限りあらゆる順序で投げ縄を実行します。つまり、なげなわでは、各反復は、どの用語が既に削除されているかに依存します。 $X \times X$

$X \times X$$\zeta$$\zeta_{min} < \zeta_{current}$$A$$x_1$$x_2$$x_2$$x_3$ ただし、他の人とはそうではありません。）選択順序はかなり偏っている可能性があります。