なげなわ回帰の時間の複雑さは何ですか？

行または列の数が増えるにつれて、なげなわ回帰の漸近的な時間の複雑さは何ですか？

lassoは$l_1$正則化を持つ線形モデルであることを思い出してください。

パラメーターの検索は、パラメーターが次のように与えられる、制約のない最適化問題として定式化できます。

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$

制約された定式化では、パラメータは

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

これは二次計画問題であり、したがって多項式です。

ほとんどすべての凸最適化ルーチンは、ニューラルネットワークのような柔軟な非線形のものであっても、ターゲットwrtパラメーターの導関数の計算に依存しています。ただし、微分を取ることはできません。そのため、さまざまな手法に依存しています。パラメータを見つけるには多くの方法があります。これは、L1-Norm Regularizationを使用した最小二乗最適化に関するテーマのレビューペーパーです。反復凸最適化の時間複雑性は、収束基準に依存するため、分析するのが少し難しくなります。一般に、反復問題は、観測値が増加するにつれて、より少ないエポックで収束します。$\alpha||w||_1$

@JacobMickはより広範な概要とレビューペーパーへのリンクを提供しますが、「ショートカットアンサー」（彼のアンサーの特別なケースと考えられる）を提供させてください。

候補変数（特徴、列）の数を、サンプルサイズ（観測の数、行）をnとします。LARSアルゴリズムを使用して実装されたLASSOを検討してください（Efron et al。、2004）。LASSOの計算の複雑さはO（K 3 + K 2 n ）（同上）です。$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• 以下のために、K 3 < K 2 N及びLASSOの計算の複雑さO（K 2 N ）との回帰と同じである、K個の変数（エフロンら、2004、頁443から444まで;また、シュミット、2005、セクション2.4 で引用されています; 回帰の計算の複雑さについては、この投稿を参照してください）。$K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• 以下のために、K 3 ⩾ K 2 N及びLASSOの計算の複雑さはO（K 3）（エフロンら、2004）。$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

参照：

• エフロン、ブラッドリー、他 「最小角度回帰。」 The Annals of Statistics 32.2（2004）：407-499。
• シュミット、マーク。「l1-norm正則化による最小二乗最適化。」 CS542Bプロジェクトレポート（2005）。