glmnetがリッジ回帰に座標降下を使用するのはなぜですか？

7

私がそれを正しく理解している場合、glmnetは、lassoネットとelasticsネットだけでなく、Ridge回帰にも循環座標降下を使用します。

実際に簡単なクローズドフォームソリューションが利用可能な場合に、このアルゴリズムを使用すると、結果がわずかに不正確になることがあります。

事前にどうもありがとうございました！

— 弁京侍
ソース

、とを探していると想像してください。このパラメーターは、調整パラメーターによってインデックス付けされたリッジ回帰の推定値です。見つけるために閉じた形を使用するように計算した後に、あなたがのために解決するために使用することを全体の異なる線形システム解く必要があるだろう。しかし、ウォームスタートで座標降下を使用するには、非常に迅速かつ効率的に見つけることができます。

λ_{1} \approx λ_{2}

$\lambda_1 \approx \lambda_2$

{\hat{β}}_{λ_{1}}^{r i d g e}

$\hat\beta^{ridge}_{\lambda_1}$

{\hat{β}}_{λ_{2}}^{r i d g e}

$\hat\beta^{ridge}_{\lambda_2}$

{\hat{β}}_{λ_{2}}

$\hat\beta_{\lambda_2}$

{\hat{β}}_{λ_{1}}

$\hat\beta_{\lambda_1}$

{\hat{β}}_{λ_{1}}

$\hat\beta_{\lambda_1}$

{\hat{β}}_{λ_{2}}

$\hat\beta_{\lambda_2}$

— user795305

反復法には、非常に大規模で疎なシステムにいくつかの利点があります。そのため、場合によっては、クローズドフォームソリューションが利用できる場合でも、反復法を使用します。たとえば、線形システムを解くためのCG

— Haitao Du

7

これはスピードが原因だと思います。循環座標降下は、有限時間で正確な解を見つけられませんが、それは、 $\lambda$ だけでなく、単一の $\lambda$ 。

単一のリッジ回帰を解決するタスクを検討してください $\lambda$ 、サイズのデータ行列 $n \times p$ 。正確な尾根回帰の最適な実行時間は $O(n^2p)$ もし $n < p$ そして $O(np^2)$ もし $n > p$ 。参考として、マーフィー、機械学習、セクション7.5.2を参照してください。

循環座標降下アルゴリズムでは、「すべての完全なサイクル $p$ 変数コスト $O(pN)$ 操作」（p。6、Friedman et al。2010、https：//www.jstatsoft.org/article/view/v033i01）。その後、サイクル数を指定できます $c$ と $c \ll min(n, p)$ シングルのビッグオーランタイムを高速化する $\lambda$ 。多くの問題を解決するために $\lambda$ の場合、glmnetメソッドはウォームスタートを使用してさらに改善をもたらすはずです。

— ブライアンZ
ソース

1

リッジの他のソルバーが存在し、glmnetソルバーのポイントは、扱いやすさと速度の理由からCCDを使用することです。すべての elasticnetソリューションに同じコードを使用します。Elasticnetには、リッジとLASSOが含まれています。 $\lambda_1$ または $\lambda_2$ に $0$ 。

— トビアスアベニウス
ソース