タグ付けされた質問 「elastic-net」

なげなわとエラスティックネットは3つ以上のカテゴリを持つ変数を処理できないため、これらの方法を適用するには、カテゴリ変数をダミーに分割する必要があります。これにより、いくつかの問題が発生する可能性があるため、グループlassoまたはスパースグループlassoへのlassoの拡張が存在します。 ただし、このような拡張機能がエラスティックネットにも存在するかどうか疑問に思っています。残念ながら、このトピックに関する統計資料は見つかりませんでした。 質問：グループエラスティックネットは存在しますか？

8 machine-learning  categorical-data  feature-selection  lasso  elastic-net 

について疑問に思う 最適なグリッドの細かさと グリッドの細かさとオーバーフィットの関係は LASSO、リッジ回帰、エラスティックネットなどの正則化手法では、 LASSOを使用した回帰モデルを500観測値のサンプルに適合させたいとします（データがありません。これは単なる例です）。私が持っていることも仮定 （A） 100と異なるグリッド間の範囲内の値λ mはiがNとλ M A X（B） 1000の異なる有するグリッドλの同じ範囲の値λは制御パラメータでありますペナルティの程度。λλ\lambdaλM I nはλmin\lambda_{min}λmは、Xがλmax\lambda_{max} λλ\lambdaλλ\lambda 質問： （A）対（B）でオーバーフィットする傾向について何か言えますか？ 最適なグリッドの細かさを決定できますか？どうやって？

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

R以外のソフトウェアを使用して線形回帰用のGLMNETバージョンのエラスティックネットを実装してきました。糖尿病データの lassoモードでR関数glmnetと結果を比較しました。 変数の選択は、パラメーター（ラムダ）の値を変更する場合は問題ありませんが、係数の値が少し異なります。これと他の理由で、アルゴリズム全体で切片（ターゲット変数の平均と見なします）を変更しないので、現在の近似を計算するときの更新ループの切片に由来すると思います。 Trevor Hastieの記事（座標降下による一般化線形モデルの正則化パス、 7ページ、セクション2.6）で説明されています： 切片は正則化されていません。[...]ラムダのすべての値について[...] [L1制約パラメーター] しかし、この記事にもかかわらず、R関数glmnetは、正則化パスに沿った切片に異なる値を提供します（ラムダの異なる値）。傍受の値がどのように計算されるかについて誰かが手掛かりを持っていますか？

8 r  lasso  regularization  glmnet  elastic-net 

弾性ネット回帰を考慮glmnet損失関数の様パラメータ化n \ ll p （それぞれ44と3000）のデータセットがあり、繰り返し11分割交差検証を使用して、最適な正則化パラメーター\ alphaおよび\ lambdaを選択しています。通常、私はテストセットのパフォーマンスメトリックとして二乗誤差を使用します。たとえば、このR二乗のようなメトリック：L_ \ text {test} = 1- \ frac {\ lVert y_ \ text {test}-\ hat \ beta_0- X_ \ text {test} \ hat \ beta \ rVert ^ 2} {\ lVert y_ \ text {test}-\ hat \ beta_0 \ rVert ^ 2}、L =12 n∥∥y−β0− …

7 regression  cross-validation  model-selection  regularization  elastic-net 

私がそれを正しく理解している場合、glmnetは、lassoネットとelasticsネットだけでなく、Ridge回帰にも循環座標降下を使用します。 実際に簡単なクローズドフォームソリューションが利用可能な場合に、このアルゴリズムを使用すると、結果がわずかに不正確になることがあります。 事前にどうもありがとうございました！

7 lasso  regularization  ridge-regression  glmnet  elastic-net