閉じた形のなげなわソリューションの派生が正しくないのはなぜですか？

投げ縄問題には閉じた形式のソリューションがあります：\ beta_j ^ {\ text {lasso}} = \ mathrm {sgn}（\ beta ^ {\ text {LS}} _ j）（| \ beta_j ^ {\ text {LS }} |-\ alpha）^ + Xに正規直交列がある 場合。これは、このスレッドに示された：閉じた形投げ縄ソリューションの導出を。

$$\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$$ $$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+$$ $X$

ただし、一般に閉じた形式のソリューションがない理由はわかりません。亜微分を使用して、以下を取得しました。

（$X$は$n \times p$行列です）

$$f(\beta)=\|{y-X\beta}\|_2^2 + \alpha\|{\beta}\|_1$$ $$=\sum_{i=1}^n (y_i-X_i\beta)^2 + \alpha \sum_{j=1}^p |\beta_j|$$ （$X_i$はXの i番目の行です$X$） $$= \sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$$ $$\Rightarrow \frac{\partial f}{\partial \beta_j}= -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$$ $$= \begin{cases} -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \alpha \text{ for } \beta_j > 0 \\ -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j - \alpha \text{ for } \beta_j < 0 \\ [-2\sum_{i=1}^ny_i X_{ij} - \alpha, -2\sum_{i=1}^ny_i X_{ij} + \alpha] \text{ for } \beta_j = 0 \end{cases}$$ と$\frac{\partial f}{\partial \beta_j} = 0$我々 GET

$$\beta_j = \begin{cases} \left( 2(\sum_{i=1}^ny_i X_{ij}) - \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} > \alpha \\ \left( 2(\sum_{i=1}^ny_i X_{ij}) + \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} < -\alpha \\ 0 &\text{ for }\sum_{i=1}^ny_i X_{ij} \in [-\alpha, \alpha] \end{cases}$$

誰が私が間違った場所を見たのですか？

回答：

行列の観点から問題を書くと、X ^ TX = Iの正規直交の場合にのみ閉形式の解が存在する理由が非常に簡単にわかります$X^TX= I$。

$$f(\beta)= \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$$ $$= y^Ty -2\beta^TX^Ty + \beta^TX^TX\beta + \alpha \| \beta\|_1$$ $$\Rightarrow \nabla f(\beta)=-2X^Ty + 2X^TX\beta + \nabla(\alpha| \beta\|_1)$$ （ここで一度に多くのステップを踏んだ。しかし、この時点までは、これは最小二乗解の導出に完全に類似しています。したがって、そこに欠けているステップを見つけることができるはずです。） $$\Rightarrow \frac{\partial f}{\partial \beta_j}=-2X^T_{j} y + 2(X^TX)_j \beta + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$$

$\frac{\partial f}{\partial \beta_j} = 0$我々が得ます

$$2(X^TX)_j \beta =2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$$ $$\Leftrightarrow 2(X^TX)_{jj} \beta_j = 2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|) - 2\sum_{i=1,i\neq j}^p(X^TX)_{ji}\beta_i$$

これで、1つのに対するソリューションが他のすべての依存していることがわかりますしたがって、ここから先に進む方法は明確ではありません。が正規直交の場合、なるため、この場合は閉じた形式のソリューションが必ず存在します。$\beta_j$$\beta_{i\neq j}$$X$$2(X^TX)_j \beta = 2(I)_j \beta = 2\beta_j$

GuðmundurEinarssonの回答に感謝します。ここで詳しく説明します。今回は正しいことを願っています:-)

これは通常、最小角度回帰で行われます。ここで論文を見つけることができます。

最初は混乱して申し訳ありませんが、これをもう一度試してみます。

したがって、関数を展開すると、$f(\beta)$

$$f(\beta)=\sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$$

次に、に関して偏微分を計算します。私の懸念は、1-ノルムの前の最後の項、すなわち二次項の偏微分の計算です。さらに調べてみましょう。それがあります：$\beta_j$

$$X_i\beta = \beta^T X_i^T = (\beta_1 X_{i1}+\beta_2 X_{i2}+\cdots+ \beta_p X_{ip})$$ したがって、2次項を本質的に次のように書き換えることができます。 さて、このWRTの導関数を計算するために連鎖法則を使用することができ： $$\sum_{i=1}^n \beta^T X_i^T X_i \beta = \sum_{i=1}^n (X_i \beta)^2$$ $\beta_j$ $$\frac{\partial }{\partial \beta_j} \sum_{i=1}^n (X_i \beta)^2 = \sum_{i=1}^n \frac{\partial }{\partial \beta_j} (X_i \beta)^2 = \sum_{i=1}^n 2(X_i \beta)X_{ij}$$

したがって、各方程式にはすべての係数が存在するため、問題はそれほど簡単に単純化されません。$\beta$

これは、なぜなげなわの閉じた形の解決策がないのかというあなたの質問には答えません。