タグ付けされた質問 「ridge-regression」

係数値をランダムに割り当て、エラーメトリックを使用してデータセット全体でこれらのモデルを評価し、このエラーメトリックに基づいて最適なモデルを選択するだけで、回帰設定で多くのランダムモデルを（データをまったく考慮せずに）生成した場合でも、実行できますか？過剰適合に？ 最終的には、OLSソリューションになります（コメントを参照）。この場合、相互検証はこの手順とどのように異なりますか？たとえば、RidgeまたはLassoの回帰設定では、モデル（インデックス付けされた）の束を生成し、目に見えないデータセグメントでそれらを評価し、最適なモデルを選択しています。λλ\lambda CVはRidgeやLassoのような標準の正則化手法でうまく機能しているように思えます。これは、試行されたモデルがいくらかネストされているためです（つまり、RidgeはRademacherの複雑さによって順序付けられます）。したがって、構造的リスク最小化の原則が適用されます。それ以外の場合、CVは行き止まりのように見えます。相互検証を使用して多数の無関係なモデルを比較すると、上記のランダムモデル生成のシナリオになります。 たとえばSVMのような構造的リスク最小化フレームワークでは、エラーを制限してモデルの複雑さを軽減します。では、CVを正則化手法と組み合わせて適用すると、実際にはどのように同じ効果が得られるのでしょうか。比較されたモデルがネストされていない場合はどうすればよいですか？

7 cross-validation  overfitting  ridge-regression 

私がそれを正しく理解している場合、glmnetは、lassoネットとelasticsネットだけでなく、Ridge回帰にも循環座標降下を使用します。 実際に簡単なクローズドフォームソリューションが利用可能な場合に、このアルゴリズムを使用すると、結果がわずかに不正確になることがあります。 事前にどうもありがとうございました！

7 lasso  regularization  ridge-regression  glmnet  elastic-net 

線形回帰でから正規化に移行する場合、バイアスまたは分散の増加が予想されますか？バイアスはフィッティング不足の兆候であり、分散はフィッティング過剰の兆候であることに注意してください。定数λを想定します。L2L2L^2L1L1L^1 ここで大まかな目安を探しています。それがなく、答えが私が説明していない他のいくつかの要因に依存する場合は、説明してください。

7 variance  lasso  bias  regularization  ridge-regression 

従来のリッジ回帰推定は β^ridge=(XTX+λI)−1XTYβ^ridge=(XTX+λI)−1XTY \hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} X^T Y これは、ペナルティ項を追加することで得られます。λ||β||22λ||β||22\lambda ||\beta||^2_2 私は特定の価値に向けて正則化することに関する文献を見つけるのに苦労してきました。特に、ペナルティの形式を使用するリッジ回帰モデルを調べました。ここで、は、繰り返し再重み付けされた最小二乗の設定での初期推定です。次に、リッジ回帰推定はλ||β−B||22λ||β−B||22\lambda ||\beta-B||^2_2BBBββ\beta β^ridge=(XTX+λI)−1(XTY+λB).β^ridge=(XTX+λI)−1(XTY+λB). \hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} (X^T Y + \lambda B). ラムダパラメータも非常に大きく（）選択されているため、推定値がに収束しようとしているように見えます。λ=100000λ=100000\lambda=100000BBB なぜ値に向けて正則化するのですか？これはの解釈を変えますか？ββ\beta コメントや引用は大歓迎です。ありがとう！

7 regression  references  least-squares  ridge-regression 

リッジとラッソの線形回帰では、重要なステップはチューニングパラメーターラムダを選択することです。多くの場合、ログスケールで-6-> 4のグリッド検索を使用します。これはリッジでうまく機能しますが、ラッソでは次数を考慮する必要があります出力yの大きさの？たとえば、出力yがナノスケール（-9）の場合、ログラムダの検索範囲は-15-> -5になります。 すべての入力パラメータは正規化され、それらは-3,3の中にあります

7 regression  cross-validation  lasso  regularization  ridge-regression