スパース線形回帰0ノルムと1ノルム

応答と予測子 $Y \in \Bbb R^n$ $X = (x_1, x_2, \cdots, x_m)^T \in \Bbb R^{n \times m}$

私たちが解決したい問題は

{argmin}_{k \in R^{m}} (‖ Y - X k ‖_{2}^{2} + λ ‖ k ‖_{0}) \to k_{0}

$\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_0) \rightarrow k_0$

ただし、これはNPハードであるため、代わりにを解き

{argmin}_{k \in R^{m}} (‖ Y - X k ‖_{2}^{2} + λ ‖ k ‖_{1}) \to k_{1}

$\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_1) \rightarrow k_1$

この論文 「圧縮センシングによる材料科学の物理記述子の学習」では、

高度に相関機能と、 $\lambda \Vert k \Vert_1$ 良好な近似ではないかもしれないため $\lambda \Vert k \Vert_0$

私の質問：

$\lambda \Vert k \Vert_0$ と $\lambda \Vert k \Vert_1$ は両方とも、ベクトル非ゼロ成分の数に制約を課します $k$ 。しかし、特徴が相関している場合、によって検出されるの利点は何ですか？ $k$ $\lambda \Vert k \Vert_0$

さらに、私が上記で引用したポイントを示す直感的な例はありますか？

regression feature-selection regularization

— meTchaikovsky
ソース

機能が相関している場合は、投げ縄ではなくエラスティックネットを使用する必要があります。
おおまかに、2つの特徴が相関している場合、lassoは損失関数に対してより良い報酬がある場合、も特徴を選択します。これは、絶対値が小さいことを意味します予測係数適切な減少とともに、回帰係数をます。 $i$ $j$ $|\beta_i|$ $||y-X\beta||_2$
一方、ノルムベースのペナルティは、予測誤差のみの大幅な減少につながる場合、係数のサイズが重要ではないため、ゼロとは異なる場合でも、もを選択します（覚えておいてください）。、 $l_0$ $i$ $j$ $||\beta||_0=\#\lbrace\beta_k\neq0\rbrace$ ）。
さて、私の直感はそれだろう -との特徴が相関している場合ノルム罰則が正しい回帰係数の予測でも同様に悪いです。このホワイトペーパーの定理2の証明は、これが実際に当てはまる理由を示しているはずです。しかし、これはあなたが引用した論文の声明や例とは矛盾します。 $l_1$ $l_0$

— エドガー
ソース