統計とビッグデータ lasso

2

この質問は以前に聞いたことがありますが、回答がなかったので、もう一度尋ねるかもしれません。なげなわペナルティをリグレッサの一部のサブセット、つまり目的関数に適用することに興味があります E=||y−X1β1−X2β2||2+λ||β1||1E=||y−X1β1−X2β2||2+λ||β1||1E = ||\mathbf{y} - \mathbf{X}_1 \boldsymbol{\beta}_1 - \mathbf{X}_2 \boldsymbol{\beta}_2||^2 + \lambda ||\boldsymbol{\beta}_1||_1 なげなわは\ boldsymbol {\ beta} _1にのみ適用されますβ1β1\boldsymbol{\beta}_1が、β2β2\boldsymbol{\beta}_2は再構築に関与します。この背後にある理論はありますか？第二に、とにかくこれをsklearnで行うことはありますか？

7 scikit-learn lasso

1

LASSO問題への双対性とKKT条件の適用

双対性がLASSOの一般的な形式にどのようにつながるのか、および補完的な緩みと呼ばれるKarush-Kuhn-Tuckerの状態で、私はいくつかの問題を抱えています。2つの質問があります。最適化の問題を考えると、 minxf(x)s.t.hi(x)≤0,i=1,…,mminxf(x)s.t.hi(x)≤0,i=1,…,m \begin{align*} &\min_x f(x)\\ &s.t. \quad h_i(x) \leq 0 \, ,\quad i=1,\dots, m \end{align*} これを解くことは、二重問題 withmaxλg(λ)s.t.λ≥0maxλg(λ)s.t.λ≥0 \begin{align*} &\max_\lambda \,\, g(\lambda) \\ &s.t. \quad \lambda \geq 0 \end{align*} g(λ)=minλ{f(x)+∑mi=1λihi(x)}g(λ)=minλ{f(x)+∑i=1mλihi(x)}g(\lambda) = min_\lambda \bigr\{f(x) + \sum_{i=1}^m \lambda_i h_i(x)\bigr \} LASSOの問題では、プライマルは ||y−Xβ||22s.t.||β||1≤t||y−Xβ||22s.t.||β||1≤t \begin{align*} &||y-X\beta ||_2^2 \\ &s.t. \,\,\,\, ||\beta ||_1 \leq t …

7 optimization lasso

2

glmnetがリッジ回帰に座標降下を使用するのはなぜですか？

私がそれを正しく理解している場合、glmnetは、lassoネットとelasticsネットだけでなく、Ridge回帰にも循環座標降下を使用します。実際に簡単なクローズドフォームソリューションが利用可能な場合に、このアルゴリズムを使用すると、結果がわずかに不正確になることがあります。事前にどうもありがとうございました！

7 lasso regularization ridge-regression glmnet elastic-net

1

と正規化のバイアスと分散のプロパティ

線形回帰でから正規化に移行する場合、バイアスまたは分散の増加が予想されますか？バイアスはフィッティング不足の兆候であり、分散はフィッティング過剰の兆候であることに注意してください。定数λを想定します。L2L2L^2L1L1L^1 ここで大まかな目安を探しています。それがなく、答えが私が説明していない他のいくつかの要因に依存する場合は、説明してください。

7 variance lasso bias regularization ridge-regression

1

ペナルティパラメータを介したLASSO回帰制約の表現

7 lasso

4

なげなわがペナルティパラメータに収束しないのはなぜですか？

LASSO回帰がどのように機能するかを調べるためにLASSO、最適なアルファパラメーターを選択することで回帰を最適化する小さなコードを書きました。 LASSO交差検証後、回帰がアルファパラメーターに対してこのような不安定な結果をもたらす理由を理解できません。これが私のPythonコードです： from sklearn.linear_model import Lasso from sklearn.cross_validation import KFold from matplotlib import pyplot as plt # generate some sparse data to play with import numpy as np import pandas as pd from scipy.stats import norm from scipy.stats import uniform ### generate your own data here n = 1000 …

7 r regression python lasso penalized

2

LassoおよびRidge調整パラメーターのスコープ

リッジとラッソの線形回帰では、重要なステップはチューニングパラメーターラムダを選択することです。多くの場合、ログスケールで-6-> 4のグリッド検索を使用します。これはリッジでうまく機能しますが、ラッソでは次数を考慮する必要があります出力yの大きさの？たとえば、出力yがナノスケール（-9）の場合、ログラムダの検索範囲は-15-> -5になります。すべての入力パラメータは正規化され、それらは-3,3の中にあります

7 regression cross-validation lasso regularization ridge-regression

タグ付けされた質問 「lasso」

タグ付けされた質問「lasso」