KKT対投げ縄回帰の制約なし定式化

L1ペナルティ付き回帰（別名lasso）は、2つの形式で表されます。2つの目的関数を 2つの異なる定式化は対象及び、等価 Karush-Kuhn-Tucker（KKT）条件を使用すると、最初の定式化の定常性条件が2番目の定式化の勾配を取得して0に設定するのと同等であることが簡単にわかります。は、最初の定式化の補完的なスラックネス条件である

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ 、2番目の定式化のソリューションによって満たされることが保証されています。

regression lasso penalized

— グッドピック
ソース

回答:

2つの定式化は、最初の定式化のすべての値に対して、2つの定式化が同じ最小化子持つように、2番目の定式化の値が存在するという意味で同等です。 $t$ $\lambda$ $\beta$

正当な理由は次のとおりです。

投げ縄製剤を考える：最小化は、とするとてみましょう。私の主張は、最初の定式化でを設定すると、最初の定式化の解もです。以下がその証拠です。

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

以来、補完的な緩み条件は、解の点で満足している。 $t=b$ $\beta^*$

そのため、を使用した投げ縄定式化をと、投げ縄解のノルムの値に等しいを使用して制約付き定式化を構築します。逆に、て制約付きの定式化を行うと、投げ縄の解が制約付きの定式化の解と等しくなるようにが見つかります。 $\lambda$ $t$ $l_1$ $t$ $\lambda$

（サブグラデーションについて知っている場合、方程式解くことにより、この見つけることができます。ここで、 $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— エロホビー
ソース

優れた。解決策を見ると、自分でそこに着いていないことにいつもつまらないと感じます。矛盾を見つける際に、ようなを見つけたとします。

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic 14

flagginの回答が正しいと考える

— bdeonovic 14

なぜ

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

これは、最初の定式化の解もbのl1-ノルムを持たなければならないことを証明しています。2つのソリューションが実際に同じであることをどのように証明しますか？

— broncoAbierto

さらに、投げ縄は常にユニークな解決策を持っていないので、我々はを参照することはできませんミニマイザー。arxiv.org/pdf/1206.0313.pdf。ただし、最小化子のセットを参照して、一部のがそのセットに属している必要があることを示すことができます。

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— broncoAbierto

この証拠に対するelexhobbyのアイデアは良いと思いますが、完全に正しいとは思いません。

最初の製剤のための溶液の存在することを示すで、その結果矛盾につながります。の必要性のみを想定できますではありません。 $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

代わりに、次のように進めることをお勧めします。

便宜上、とそれぞれ最初と2番目の定式化を示しましょう。さんがいると仮定しましょう、ユニークなソリューションを持っているで、。ましょう、解決策を持っている。次に、（制約のために大きくすることはできません）、したがって。もしその後、ありませんを解決私たちの仮定と矛盾します。もし $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ 解が一意であると仮定したため、。 $\hat{\beta} = \beta^*$

ただし、Lassoに複数のソリューションがある場合があります。arxiv.org/pdf/1206.0313.pdfの lemma 1により、これらのソリューションはすべて同じ -norm（そしてもちろん同じ最小値）を持っていることがわかります。その規範をの制約として設定し、続行します。 $\ell 1$ $P_1$

レッツによって表すの解の集合と、。ましょう、解決策を持っている。次に、したがって。もし、いくつかのために（したがって、それらのすべてのための）を我々の仮定と矛盾します。場合、いくつかのためにその後、の解のセットではありません $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ 。したがって、すべての解はにあります。つまり、解はすべて解でもあります。補完も成り立つことを証明することは残るでしょう。 $P_1$ $S$ $P_1$ $P_2$

— ブロンコ
ソース