Lassoは、設計行列のサイズにどのように比例しますか？

私はデザイン行列がある場合、次元の観測の数であり、について解くの複雑さは何である $X\in\mathcal{R}^{n\times d}$ $n$ $d$ LASSO、wrtおよび？答えは、特に感じない限り、反復数（収束）のスケーリング方法ではなく、1つのLASSO反復がこれらのパラメーターでスケーリングする方法を参照する必要があると思います。 $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

私は以前のLASSOの複雑さに関する質問を読みましたが、こことここでの glmnetについての議論とは奇妙に思えます。glmnetのGLMアプローチを含む多くのアルゴリズムがあることは承知していますが、LASSOコンポーネントを親アルゴリズムに置き換えることに関する論文を書いており、特におよびしたLASSOの複雑さに関する議論を含めたいと思います。基本的な非スパースの場合のglmnetの複雑さも知りたいのですが、参照されている論文は、アルゴリズム全体の複雑さが明確ではないため、少し混乱しています。 $d$ $n$

— 麺
ソース

この回答stats.stackexchange.com/a/190717/28666（リンクしたスレッド内）が質問に答えない理由は明らかではありません。詳しく説明できますか？何が何と対立するのですか？

— アメーバは、モニカ

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

@amoebaあなたが提供するリンクはLARSアルゴリズム用です-GLMアプローチについて知りたいのですが。

— rnoodle 2017

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

d

$d$

参考文献からの回答、

$\mathcal{O}(d^2n)$
$\mathcal{O}(dn)$

、は正しい。

違いは

LARS方程式は閉じた形式で記述され、正確な解を求めます

$O(d^2n)$

ながら

$\mathcal{O}(dn)$

$d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

$d^2n$ $d$ $d$ $d>>100$ $d=100$

LARSのスケーリングは、計算の複雑さを伴う問題です。座標降下のスケーリングは、計算の複雑さと収束を伴う問題です。

— Sextus Empiricus
ソース