エラスティックネット回帰におけるラムダの範囲

$\def\l{|\!|}$ 弾性ネット回帰が与えられた

$$\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1$$

クロス検証のために適切な範囲の\ lambdaをどのように選択でき$\lambda$ますか？

で$\alpha=1$の場合（リッジ回帰）式

$$\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda}$$

各ラムダに同等の自由度を与えるために使用でき（ここで$s_j$はXの特異値です$X$）、自由度は適切な範囲で選択できます。

では$\alpha=0$の場合（なげなわ）私たちが知っていること

$$\lambda > \lambda_{\textrm{max}} = \max_j|\sum_t y_t X_{tj}|$$

結果として、すべての$b_j$はゼロになり、$\lambda$は（0、\ lambda_ \ textrm {max}）の範囲で選択できます$(0, \lambda_\textrm{max})$。

しかし、どのように混合ケースを処理するのですか？

私はあなたがの範囲を使用すべきだと思うに$0$

$$\lambda_\text{max}^\prime = \frac{1}{1-\alpha}\lambda_\text{max}$$

私の推論は投げ縄のケースを拡張することから来ており、完全な導出は以下のとおりです。修飾子は、正則化による制約をキャプチャしないことです。それを修正する方法を見つけたら（そして実際に修正する必要があるかどうかを判断したら）、戻って編集します。$\text{dof}$$\ell_2$

---

目的を定義する

$$f(b) = \frac{1}{2} \|y - Xb\|^2 + \frac{1}{2} \gamma \|b\|^2 + \delta \|b\|_1$$

これはあなたが説明した目的ですが、いくつかのパラメータは明確さを向上させるために置き換えられています。

従来、の勾配がゼロの場合、は最適化問題解決策に過ぎません。ただし、という用語 は滑らかではないため、実際には部分勾配にあることが条件です。$b=0$$\min f(b)$$b = 0$$\|b\|_1$$0$$b = 0$

の劣勾配は$f$

$$\partial f = -X^T(y - Xb) + \gamma b + \delta \partial \|b\|_1$$

ここで、はに関する劣勾配を示します。で、、次のようになり$\partial$$b$$b=0$

$$\partial f|_{b=0} = -X^Ty + \delta[-1, 1]^d$$

ここで、はの次元であり、aは次元の立方体です。だから、溶液持っている最適化問題のために、それはそれでなければなりません$d$$b$$[-1,1]^d$$d$$b = 0$

$$(X^Ty)_i \in \delta [-1, 1]$$

各コンポーネント。これは$i$

$$\delta > \max_i \left|\sum_j y_j X_{ij} \right|$$

これは、た定義です。もし今で交換される、柱の上部から式抜けます。$\lambda_\text{max}$$\delta = (1-\alpha)\lambda$