ペナルティパラメータを介したLASSO回帰制約の表現

LASSO回帰の問題の2つの同等の定式化、およびが与えられ、がどのように表現できるかと 1対1対応？$\min(RSS + \lambda\sum|\beta_i|)$$\min(RSS)$$\sum|\beta_i|\leq t$$\lambda$$t$

あなたの質問への答えは、ラグランジュの双対性を考慮した結果です。これは、OPの投稿へのコメントで重複していると考える投稿で機能します。以下では、より洞察に富んだ派生物であると判断したものを計算します。

なげなわを解くとき、実際には、とを一緒に最小化しようとしています。つまり、を求めます。これらの2つの目的の間にはある程度の緊張があることがわかっているため、これは現時点では十分に定義されていないようです。これは、最適化担当者がマルチクライテリア最適化と呼ぶものです。多くのに対してをプロットして、この問題を視覚化しましょう。（注、ここで、、はランダムに初期化され、真の係数$\frac{1}{2n} \|y - X \beta\|_2^2 = RSS$$\|\beta\|_1$$\arg\min_\beta (\frac{1}{2n} \|y - X \beta\|_2^2, \|\beta\|_1)$$\left(\frac{1}{2n} \|y - X \beta\|_2^2, \|\beta\|_1 \right)$$\beta$$p=5$$n=100$$X$$\beta^*$ エントリのおよそ4分の1がゼロに等しいです。）

ここで、およびです。つまり、縦軸は適合性の欠如を測定し、横軸は係数のサイズを測定します。わかりやすくするために、画像の上部を切り取っていることに注意してください。$F = \|\beta\|_1$$G = \frac{1}{2n} \|y - X \beta\|_2^2$

プロットの左下の点は、私たちが興味を持っているものです。これらは、両方のノルムが小さく、誤差が小さいの値に対応しています。実際、左下のポイントについては、同じフィットでサイズが小さいか、同じサイズでよりフィットするはありません。パレート最適点と呼ばれるこれらの点から選択するには、2つの目的であるフィットとサイズの相対的な重要性を決定する必要があります。これは、それぞれ制約なしまたは制約付きなげなわでのチューニングパラメーターまたはを思い出させます。以下では、上記のグラフに課せられたglmnetから計算されたLassoソリューションを緑色でプロットしています。$\beta$$\ell_1$$\beta$$\lambda$$C$

Lassoが正確にパレート最適点を見つけたことに注意してください。しかし、これは驚くべきことです！多次元の目的はどのようにして1次元の目的によって最適化されましたか？このプロセスはスカラー化と呼ばれます。重みを取り、問題両方の目的がここにある凸状の場合、このスカラー化された問題はすべてのパレート最適点を見つけます。$\mu_1, \mu_2 \geq 0$

$$\arg\min_{\beta \in \mathbb{R}^p} \mu_1 \left( \frac{1}{2n} \|y-X\beta\|_2^2 \right) + \mu_2 \|\beta\|_1.$$

仮定すると、両方の目的が検討されていると仮定し、書き込みされ、、私たちはこれがちょうどであることを持っている投げ縄、通常の形式です。ラグランジュの双対性により、代わりに同等の問題解くことができるように、からの存在がわかりますここで。$\mu_1 \neq 0$$\lambda = \frac{\mu_2}{\mu_1}$$\hat{\beta}^\textrm{unc} = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1,$$C$$\hat{\beta}^\textrm{con} = \arg\min_{\beta : \|\beta\|_1 \leq C} \frac{1}{2n} \|y-X\beta\|_2^2,$$\hat{\beta}^\textrm{con} = \hat{\beta}^\textrm{unc}$

解決しようとしていることをよりよく理解し、優れた視覚化を得たところで、今度はチューニングパラメーターと間の関係を見つけることに焦点を合わせましょう。$\lambda$$C$

与えられた値に対して、拘束されたなげなわ推定は、上のプロットの緑の点の1つになります。方法見つけることができるので自分自身を固定している（は最小二乗係数）を使用して、フィットの欠如の可能な限り低い測定値が得られるまで下に移動します。つまり、上で見たように、はベクトル目的のスカラー化に対応するため、この時点での勾配に等しくなります。$C$$\hat{\beta}^\textrm{con.}$$\hat{\beta}^\textrm{con.}$$\|\beta\|_1 = \mathrm{min}\{C, \|\hat{\beta}_\mathrm{LS}\|_1\}$$\hat{\beta}_\mathrm{LS}$

$$C = \|\hat{\beta}^\textrm{unc}\|_1.$$ $\lambda$ $$\lambda = -\frac{\partial \frac{1}{2n} \|y - X \beta\|_2^2}{\partial \|\beta\|_1} \mid_{\beta = \hat{\beta}^\textrm{con}}$$ （注：この式は定数までしか正しいように見えません。正しいは一次条件からすぐに見つけることができますが、やる気にさせる方法を見つけたいですこのフレームワークから直接。）これは（チェーンルールを介して）重複の可能性があるとリンクした投稿の最初の回答に対応します。$\lambda$