LassoおよびRidge調整パラメーターのスコープ

リッジとラッソの線形回帰では、重要なステップはチューニングパラメーターラムダを選択することです。多くの場合、ログスケールで-6-> 4のグリッド検索を使用します。これはリッジでうまく機能しますが、ラッソでは次数を考慮する必要があります出力yの大きさの？たとえば、出力yがナノスケール（-9）の場合、ログラムダの検索範囲は-15-> -5になります。

すべての入力パラメータは正規化され、それらは-3,3の中にあります

はい、出力のスケールとの共変量のスケールを考慮する必要があります。$y$$X$

ましょ、その行の各エントリは一緒にしようとすることが共変量であるとベクトルでデザイン行列、であることを説明応答。応答の各エントリ（）は、共変量に依存する信号とiidはゼロノイズを付加的に構成します。信号をほぼ線形としてモデル化することを選択すると、LASSO推定一次条件により、$X \in \mathbb{R}^{n \times p}$$y \in \mathbb{R}^n$$y_i = f(e_i^T X) + \epsilon_i$$i = 1, \dots, n$$f$

$$\hat \beta_\lambda = \arg\min_\beta \frac{1}{2n} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1,$$ $\frac{-1}{n} X^T (y - X \hat \beta_\lambda) = \lambda \hat{z}_\lambda$、ここではを満たすデュアル変数で、とであれば。$\hat{z}_\lambda$$\hat{z}_{\lambda,j} = sgn(\hat{\beta}_{\lambda, j})$$\hat{\beta}_{\lambda, j} \neq 0$$\hat{z}_{\lambda, j} \in [-1,1]$$\hat{\beta}_{\lambda, j} = 0$

プラグインこの式に、我々が見ること、製造$\hat{\beta}_\lambda = 0$$\frac{-1}{n} X^T y = \lambda \hat{z}_\lambda$

$$\frac{1}{n} \|X^T y \|_\infty = \lambda \|\hat{z}_{\lambda}\|_\infty.$$

もし、次に減少できた（と平等を維持するために増加）とLASSO推定値はです。したがって、で、の最小値生成、我々は、その取得$\|\hat{z}_\lambda\|_\infty \neq 1$$\lambda$$\|\hat{z}_\lambda\|_\infty$$\hat{\beta}_\lambda = 0$$\lambda_\mathrm{max}$$\lambda$$\hat{\beta}_{\lambda}=0$

$$\frac{1}{n} \|X^T y\|_\infty = \lambda_\mathrm{max} \cdot 1.$$

これは、LASSOを調整するときにを考慮する必要がないことを示しています。現在、実際には、ほとんどのソルバーはの列を標準化しているので、直接考慮する必要はありません。（測定単位は推定係数に影響を与えないため、共変量を標準化するのが妥当であることに注意してください。）$\lambda > \lambda_\mathrm{max}$$X$

リッジのケースについては、ここで詳しく説明しています：リッジ回帰の最大ペナルティ

Rパッケージglmnetでは、関数cv.glmnetはモデルをデータセット全体に適合させて適切な正則化パスを選択し、そのパスを使用して相互検証を行います。これは実際にはうまくいくようです。