LASSO問題への双対性とKKT条件の適用

双対性がLASSOの一般的な形式にどのようにつながるのか、および補完的な緩みと呼ばれるKarush-Kuhn-Tuckerの状態で、私はいくつかの問題を抱えています。2つの質問があります。

最適化の問題を考えると、 $\begin{aligned} min_{x} f (x) \\ s . t . h_{i} (x) \leq 0, i = 1, \dots, m \end{aligned}$ $\begin{align*} &\min_x f(x)\\ &s.t. \quad h_i(x) \leq 0 \, ,\quad i=1,\dots, m \end{align*}$

これを解くことは、二重問題 with

\begin{aligned} max_{λ} g (λ) \\ s . t . λ \geq 0 \end{aligned}

$\begin{align*} &\max_\lambda \,\, g(\lambda) \\ &s.t. \quad \lambda \geq 0 \end{align*}$

g (λ) = m i n_{λ} {f (x) + \sum_{i = 1}^{m} λ_{i} h_{i} (x)}

$g(\lambda) = min_\lambda \bigr\{f(x) + \sum_{i=1}^m \lambda_i h_i(x)\bigr \}$

LASSOの問題では、プライマルは

\begin{aligned} | | y - X β | |_{2}^{2} \\ s . t . | | β | |_{1} \leq t \end{aligned}

$\begin{align*} &||y-X\beta ||_2^2 \\ &s.t. \,\,\,\, ||\beta ||_1 \leq t \end{align*}$

したがって、私の理解が正しければ、双対問題の場合、

g (λ) = min_{β} | | y - X β | |_{2}^{2} + λ (| | β | |_{1} - t)

$g(\lambda) = \min_\beta ||y-X\beta ||_2^2 + \lambda( ||\beta ||_1 -t)$

ただし、LASSOの問題は常にとして指定されます

min_{β} | | y - X β | |_{2}^{2} + λ | | β | |_{1}

$\min_\beta ||y-X\beta ||_2^2 + \lambda ||\beta ||_1$

何が欠けていますか？それはnullである定数の導関数に関連していますか？

2番目の質問は、定常性 KKT条件解決するだけでLASSO問題の解決策を提示する多くの著者を見た $X^{T} (y - X β) = λ s$ $X^T(y-X\beta)=\lambda s$

問題は、凸状であるように私は、それを理解する原始し、二重の実現可能性の条件は、とにかく、私は我々がチェックしない理由が表示されない、満足しているの相補スラック条件。

optimization lasso

— ロベルト
ソース

1）二元性を直接呼び出すことにより、間違った方向に進んでいます。から得るために

$\text{arg min}_{\beta: \|\beta\|_1 \leq t} \|y - X\beta\|_2^2$

に

$\text{arg min}_{\beta} \|y - X\beta\|_2^2 + \lambda\|\beta\|_1$

ラグランジュ乗数を呼び出すだけです。（例えば、[1]のセクション5.1を参照）

LMはしばしば、それらを教えるときに双対性のコンテキストで議論されますが、実際には、二重問題を考慮せずに、一方から他方に直接切り替えることができます。

投げ縄の二重問題に興味がある場合は、[2]のスライド12と13で解決されています。

2）おそらく見たのは、なげなわのKKT定常性条件です。

$\text{arg min}\frac{1}{2}\|y - X\beta\|_2^2 + \lambda \|\beta\|_1 \Longleftrightarrow -X^T(y - X\hat{\beta}) + \lambda s = 0 \text{ for some } s \in \partial \|\hat{\beta}\|_1$

どこと呼ばれるsubdifferentialの規範。（これは基本的に微積分の標準的な「導関数は最小でゼロに等しい」条件ですが、微分不可能性のために調整されています。） $\partial \|\beta\|_1$ $\ell_1$

劣微分を知っています ifしたがって、この方程式は、解のサポートと符号がわかっている場合、投げ縄の厳密な閉形式の解を与えます。つまり、 $|\beta_i| = \text{sign}(\beta_i)$ $\beta_i \neq 0$

$\hat{\beta}_{\hat{S}} = (X_{\hat{S}}^TX_{\hat{S}})^{-1}(X_{\hat{S}}^Ty - \lambda * \text{sign}(\hat{\beta}_{\hat{S}}))$

（余談ですが、このソリューションは、投げ縄の「収縮」効果を（OLSと比較して）非常に明確にします。）

もちろん、なげなわを解決する上で難しい部分は、解決策のサポートと兆候を見つけることです。そのため、これは実際にはそれほど役に立ちません。

ただし、これは非常に便利な理論構成であり、投げ縄の多くの優れた特性を証明するために使用できます。最も重要なのは、ラッソが "真の"変数のセットを回復する条件を確立するために、 "primal-dual witness"テクニックを使用できることです。[3]のセクション11.4を参照してください。

[1] S.ボイドとL.ヴァンデンベルヘ。凸最適化。https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdfで入手可能

[2] http://www.stat.cmu.edu/~ryantibs/convexopt-F15/lectures/13-dual-corres.pdf

[3] T.ハスティ、R。ティブシラニ、M。ウェインライト。スパース性による統計学習：なげなわと一般化。https://web.stanford.edu/~hastie/StatLearnSparsity_files/SLS_corrected_1.4.16.pdfで入手可能

— Mweylandt
ソース