タグ付けされた質問 「lasso」

L1正規化線形回帰のあてはめにLARS [1]を使用する場合と座標降下を使用する場合の長所と短所は何ですか？ 私は主にパフォーマンスの側面に興味があります（私の問題はN数十万とp20未満にある傾向があります）。しかし、他の洞察も歓迎されます。 編集：私は質問を投稿したので、chlは親切にフリードマンらによる論文[2]を指摘しました。そこでは、座標降下は他の方法よりもかなり速いことが示されています。その場合、実務家として座標降下を支持するLARSを単に忘れるべきですか？ [1]エフロン、ブラッドリー。ヘイスティー、トレバー; ジョンストーン、イアンおよびティブシラーニ、ロバート（2004）。「最小角度回帰」。統計32（2）：pp。407–499。 [2] Jerome H. Friedman、Trevor Hastie、Rob Tibshirani、「座標降下による一般化線形モデルの正規化パス」、Journal of Statistics Software、Vol。33、1号、2010年2月。

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

私は、グループのなげなわが変数のグループの変数選択とスパース性に使用されることを読みました。この主張の背後にある直感を知りたい。 グループ投げ縄が投げ縄よりも優先されるのはなぜですか？ なぜグループラッソソリューションパスが区分的に線形ではないのですか？

13 regression  feature-selection  lasso  regularization 

使用できるオープンソースまたは既存のライブラリを探しています。私が言う限り、glmnetパッケージは非負のケースをカバーするために非常に簡単に拡張できません。私は間違っているかもしれません、どんなアイデアでも大歓迎です。 非負とは、すべての係数が正（> 0）に制約されることを意味します。

13 r  lasso 

Rのパッケージ「lars」を次のコードで使用しています。 > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <- cbind(x1,x2,x3,x4,x5) > cor(cbind(y,x)) y x1 x2 …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

ゾウ他 「なげなわの「自由度」」（2007）は、非ゼロ係数の数がなげなわの自由度の公平で一貫した推定値であることを示しています。 それは私には少し直感に反しているようです。 回帰モデルがあると仮定します（変数は平均がゼロです）。 y= βX + ε 。y=βバツ+ε。y=\beta x + \varepsilon. 無制限のOLS推定値がます。これは、非常に低いペナルティ強度に対する LASSO推定値とほぼ一致する可能性があります。ββ\betaβ^O L S= 0.5β^OLS=0.5\hat\beta_{OLS}=0.5ββ\beta さらに、特定のペナルティ強度 LASSO推定値がます。たとえば、は、クロス検証を使用して見つかったデータセットの「最適な」になります。 λ∗λ∗\lambda^*β^L A SSO 、λ∗= 0.4β^LASSO、λ∗=0.4\hat\beta_{LASSO,\lambda^*}=0.4λ∗λ∗\lambda^*λλ\lambda 正しく理解すれば、どちらの場合も1つの非ゼロ回帰係数があるため、どちらの場合も自由度は1です。 質問： はよりもフィッティングの「自由」が少ないことを示唆しているのに、どちらの場合も自由度は同じなのでしょうか？ β OLS=0.5β^L A SSO 、λ∗= 0.4β^LASSO、λ∗=0.4\hat\beta_{LASSO,\lambda^*}=0.4β^O L S= 0.5β^OLS=0.5\hat\beta_{OLS}=0.5 参照： Zou、Hui、Trevor Hastie、およびRobert Tibshirani。「投げ縄の「自由度」について。」 統計学年報35.5（2007）：2173-2192。

12 regression  lasso  degrees-of-freedom  shrinkage 

Larsアルゴリズムを変更してLassoを生成する方法を理解しようとしています。私はLARSを理解していますが、Tibshiraniらによる論文からLassoの修正を見ることができません。特に、ゼロ以外の座標の符号が現在の相関の符号と一致しなければならないという符号条件がなぜなのかわかりません。誰かがこれで私を助けてくれますか？元のL-1ノルム問題、つまり投げ縄でKKT条件を使用した数学的証明を探していると思います。どうもありがとう！

12 lasso 

L1（投げ縄）の座標降下の使用および/または線形回帰問題の弾性ネット正則化を扱った優れた論文や書籍はありますか？

12 regression  references  lasso  regularization  elastic-net 

L1正規化線形回帰を非常に大きなデータセットに適合させています（n >> p）。変数は事前にわかっていますが、観測値は小さな塊で到着します。各チャンクの後に投げ縄の適合を維持したいと思います。 新しい観測セットをそれぞれ確認した後、モデル全体を明らかに再適合させることができます。ただし、大量のデータがある場合、これは非常に非効率的です。各ステップに到着する新しいデータの量は非常に少なく、適合度がステップ間で大きく変わることはほとんどありません。 全体的な計算負荷を軽減するためにできることはありますか？ エフロンらのLARSアルゴリズムを見ていましたが、上記の方法で「ウォームスタート」できる場合は、他のフィッティング方法を検討できます。 ノート： 私は主にアルゴリズムを探していますが、これを行うことができる既存のソフトウェアパッケージへのポインタも洞察力があるかもしれません。 現在のなげなわ軌跡に加えて、アルゴリズムはもちろん他の状態を維持することを歓迎します。 Bradley Efron、Trevor Hastie、Iain JohnstoneおよびRobert Tibshirani、 Least Angle Regression、Annals of Statistics（議論あり）（2004）32（2）、407--499。

12 regression  lasso 

IRLSアルゴリズムを使用してロジスティック回帰をプログラムしました。適切な機能を自動的に選択するために、LASSOペナルティを適用したいと思います。各反復で、以下が解決されます。 (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} してみましょうλλ\lambda非負実数であること。The Elementsで提案されているように、インターセプトにペナルティを課していません。統計学習。すでにゼロの係数についても同様です。そうでなければ、右側から項を引きます： XT(y−p)−λ×sign(β^)XT(y−p)−λ×sign(β^)\mathbf{X^T\left(y-p\right)-\lambda\times \mathrm{sign}\left(\hat\beta\right)} ただし、IRLSアルゴリズムの変更については不明です。それは正しい方法ですか？ 編集：私はそれについて自信がありませんでしたが、ここで私がついに思いついた解決策の一つです。興味深いのは、このソリューションがLASSOについて私が今理解していることに対応していることです。実際、各反復には1つではなく2つのステップがあります。 最初のステップは以前と同じです：アルゴリズムの反復を行います（上の勾配の式でように）、λ=0λ=0\lambda=0 第二のステップは、新しいものである：我々は、（成分以外の各構成要素に軟判定閾値を適用ベクトルの切片に相当）β第一工程で得られました。これは、反復ソフトしきい値アルゴリズムと呼ばれます。β0β0\beta_0ββ\beta ∀i≥1,βi←sign(βi)×max(0,|βi|−λ)∀i≥1,βi←sign(βi)×max(0,|βi|−λ)\forall i \geq 1, \beta_{i}\leftarrow\mathrm{sign}\left(\beta_{i}\right)\times\max\left(0,\,\left|\beta_{i}\right|-\lambda\right)

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

圧縮センシングでは、 が一意のスパースソリューションcを持つという定理が保証され （詳細は付録を参照）。argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc 投げ縄に同様の定理はありますか？そのような定理がある場合は、投げ縄の安定性を保証するだけでなく、投げ縄にさらに意味のある解釈を提供します。 lassoは、y = Xcによって応答yを生成するために使用されるスパース回帰係数ベクトルcccを明らかにできます。yyyy=Xcy=Xcy = Xc この質問をする理由は2つあります。 「lassoはスパースソリューションを優先する」とは、選択した機能の利点が何であるかさえわからないため、機能選択にlassoを使用する理由に対する答えではないと思います。 なげなわは機能選択が不安定であることで有名です。実際には、その安定性を評価するためにブートストラップサンプルを実行する必要があります。この不安定性を引き起こす最も重要な理由は何ですか？ 付録： X_ {N \ times M} =（x_1、\ cdots、x_M）が与えられXN×M=(x1,⋯,xM)XN×M=(x1,⋯,xM)X_{N \times M} = (x_1, \cdots, x_M)ます。cccはΩΩ\Omega -sparse vector（Ω⩽MΩ⩽M\Omega \leqslant M）です。プロセスy=Xcy=Xcy = Xcは応答yを生成しyyyます。場合XXXオーダーのNSP（ヌル空間プロパティ）を有するΩΩ\Omegaとの共分散行列XXXゼロへの固有値近いを持っていない、に固有のソリューションが存在することになる argmin∥c∥1subject to y=Xcargmin‖c‖1subject to …

12 regression  self-study  feature-selection  lasso  regularization 

私は現在、約300の変数と800の観測値を持つデータセットのバイナリ結果の予測モデルの構築に取り組んでいます。このサイトでは、段階的回帰に関連する問題と、なぜそれを使用しないのかについて多くを読みました。 私はLASSOの回帰とその機能選択機能を読んでおり、「キャレット」パッケージと「glmnet」を使用してそれを実装することに成功しています。 私は最適で、モデルの係数を抽出することができるよlambdaとalpha「キャレット」から。ただし、係数の解釈方法には慣れていません。 LASSO係数はロジスティック回帰と同じ方法で解釈されますか？ LASSOから選択した機能をロジスティック回帰で使用することは適切でしょうか？ 編集 LASSO回帰の指数係数のように、他のすべての係数を一定に保ちながら係数の1単位の対数オッズが変化するときの係数の解釈。 https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

この投稿はこれに続きます：対角線に定数を追加することにより、隆起推定がOLSよりも優れているのはなぜですか？ これが私の質問です： 私の知る限り、リッジの正則化はノルム（ユークリッド距離）を使用します。しかし、なぜこの基準の2乗を使用するのですか？（を直接適用すると、ベータ2乗の合計の平方根になります）。ℓ 2ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2 比較として、正規化にを使用するLASSOではこれを行いません。しかし、これは「実際の」ノルムです（ベータ絶対値の2乗の合計であり、この合計の2乗ではありません）。ℓ 1ℓ1ℓ1\ell_1ℓ1ℓ1\ell_1 誰かが私を明確にするのを手伝ってくれる？

12 lasso  regularization  ridge-regression 

LASSOとアダプティブLASSOは2つの異なるものですよね？（私にとっては、ペナルティは異なって見えますが、私は何かを逃したかどうかを確認しているだけです。） 一般にエラスティックネットについて話すとき、特別なケースはLASSOまたは適応型LASSOですか？ alpha = 1を選択した場合、glmnetパッケージは何をしますか？ Adaptive LASSOは穏やかな条件で機能しますよね？どちらも適切なデータにoracleプロパティがありますよね？

12 lasso  glmnet  elastic-net  oracle 

GWASの投げ縄回帰に「glmnet」を使用しています。一部のバリアントと個人には欠損値があり、glmnetは欠損値を処理できないようです。 これに対する解決策はありますか？または、投げ縄回帰で欠損値を処理できる他のパッケージはありますか？ これが私のスクリプトです。 > library(glmnet) > geno6<-read.table("c6sigCnt.geno") > geno6[1:10,1:10] #genotype file (0,1,2 for minor allele counts) V1 V2 V3 V4 V5 V6 V7 V8 V9 V10 1 1 1 1 1 1 1 1 1 1 0 2 NA NA 1 1 1 1 1 1 1 1 3 0 …

12 missing-data  lasso  glmnet 

LASSOを使用してモデルを近似する場合、R Squaredは理想的な尺度ではないことをいくつかの箇所で読みました。しかし、それがなぜなのか正確にはわかりません。 さらに、最良の代替案を推奨できますか？

12 regression  lasso  r-squared  penalized