LARSのなげなわ修正


12

Larsアルゴリズムを変更してLassoを生成する方法を理解しようとしています。私はLARSを理解していますが、Tibshiraniらによる論文からLassoの修正を見ることができません。特に、ゼロ以外の座標の符号が現在の相関の符号と一致しなければならないという符号条件がなぜなのかわかりません。誰かがこれで私を助けてくれますか?元のL-1ノルム問題、つまり投げ縄でKKT条件を使用した数学的証明を探していると思います。どうもありがとう!


エフロンらのstanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdfを参照していますか?セクション5の補題8でこれを証明しています。または、あなたの質問を誤解していますか?
ピーターエリス

1
質問についてもわかりませんが、実際には、投げ縄はラースの単純化です:投げ縄では、正の相関だけが正につながるため、現在の残差と残りの基底関数の間の正の相関のみを探しています(〜非負)係数。
ミスターホワイト

回答:


2

LET (サイズN × P標準入力の意味セット)、Y(サイズN × 1)応答、中心β(サイズP × 1)回帰ウェイトとλ > 0 L 1ノルムpenalisation係数。Xn×pyn×1βp×1λ>0l1

LASSO問題は、β ∗を書き込み ます

β=argminβ L(β,λ)L(β,λ)=yXβ22+λβ1

すべての値についてこれを解くと、いわゆるLASSO正則化パスβ λ )が得られます。λ>0β(λ)

ペナルティ係数固定値(つまり、アクティブな予測子の固定数= LARSアルゴリズムの固定ステップ)については、β ∗が満たされることを示すことができます(この回答のように、KKT定常条件を単に書き出す)λβ

λ=2 sign(βa)XaT(yXβ),   aA

アクティブ予測子の集合を表します。A

なぜなら正でなければならない(それはpenalisation係数である)、それの符号ことは明らかであるβ *(任意の非ゼロ従って活性予測の重み)のそれと同じであるべきであるX TY - X β = X T a rすなわち現在の回帰残差との相関。λβaXaT(yXβ)=XaTr


1

@ Mr._Whiteは、LARSとLassoの主な違いを直感的に説明してくれました。私が追加する唯一の点は、投げ縄が(種類)後方選択アプローチのようなものであり、それらの相関が存在する(上の正規化)用語が存在する限り、各ステップで用語をノックアウトすることです。LARSはすべてをそこに保持します。基本的に、可能な限りあらゆる順序で投げ縄を実行します。つまり、なげなわでは、各反復は、どの用語が既に削除されているかに依存します。 X×X

X×Xζζmin<ζcurrentAx1x2x2x3 ただし、他の人とはそうではありません。)選択順序はかなり偏っている可能性があります。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.