L1正則化に対する圧縮センシングの関係

圧縮センシングが最もスパースな解を見つけることを理解しています。ここで、、、および、。

y = A x

$y = Ax$

x \in R^{D}

$x \in \mathbb{R}^D$

A \in R^{k \times D}

$A \in \mathbb{R}^{k \times D}$

y \in R^{k}

$y \in \mathbb{R}^{k}$

k << D

$k << D$

このようにして、（圧縮）を使用してかなり高速に（元の）を再構築できます。私たちは、と言う疎なソリューションです。、ベクトルのノルムとして理解できます。 $x$ $y$ $x$ $l_0$

また、（線形計画法を使用して解ける）は、（大きなベクトルの場合はNP困難）の良い近似であることも知っています。したがって、は最小の解でもあります $l_1$ $l_0$ $x$ $l_1$ $Ax=y$

圧縮センシングは、投げ縄ペナルティ（）を伴う回帰に類似していることを読んだことがあります。私もこれの幾何学的解釈を見てきましたが、数学的には関係がありません。 $l_1$

ノルムを最小化する以外に、圧縮とLassoの間の（数学的に）関係は何ですか？ $l_1$

lasso sparse

— イランマン
ソース

関連：quora.com/…–

— チャーリーパーカー

私の理解では、圧縮センシングはスパース信号の回復を研究する分野であり、L1正則化は近似的にそれを解決するための特定の定式化の1つにすぎません。

— チャーリーパーカー

本質的に違いはありません。それは単なる統計学者の用語対電気技術者の用語です。

圧縮センシング（より正確には、基底追跡ノイズ除去[1]）がこの問題です。

$\text{arg min}_x \frac{1}{2}\|Ax - b\| + \lambda \|x\|_1$

なげなわ[2]がこの問題です

$\text{arg min}_{\beta} \frac{1}{2}\|y - X\beta\| + \lambda \|\beta\|_1$

違いはありますが、圧縮センシングアプリケーションでは、（エンジニア）は「適切に動作する」ように選択できますが、Lassoの場合（統計学者）はを選択せずに、データが何であっても処理します（そして、それらはめったに「良い」とは言えません...）。その結果、後続の圧縮センシングの文献の多くは、可能な限り「効率的」になるようにを選択ことに重点を置いていますが、後続の統計文献の多くは、なげなわを「破る」で機能するなげなわの改善に焦点を当てています。 $A$ $X$ $A$ $X$

[1] SSチェン、DLドノホ、MAサンダース。「基礎追跡による原子分解。」SIAM Journal on Scientific Computing 20（1）、p.33-61、1998。https ： //doi.org/10.1137/S1064827596304010

[2] R.ティブシラニ「回帰収縮と投げ縄による選択」英国王立統計学会誌：シリーズB 58（1）、p.267–88、1996。JSTOR 2346178。

— Mweylandt
ソース

ただし、通常、圧縮センシングはと表現されますよう。これは本当に最小値と同じですか？もしそうなら、なぜラムダは元の画像に含まれるのですか？

m i n ‖ x ‖_{1}

$min \| x \|_1$

A x = b

$Ax=b$

‖ A x - b ‖ + λ ‖ x ‖_{1}

$\|Ax - b \| + \lambda \| x \|_1$

— チャーリーパーカー

（等式制約を使用して）指定する定式化は、ある意味での「限界」です。これは、システムにノイズがないと想定した場合に発生します（そのため、「基本的な追跡のノイズ除去」ではなく、「基本的な追跡」と呼ばれます）。

λ \to 0

$\lambda \to 0$

— mweylandt

私が混乱しているのは、貪欲なアルゴリズムが（おおよそ）解決する追跡メソッドと一致しているのですが、。しかし、ソフトなしきい値処理アルゴリズムは、凸型緩和公式の正確なソルバーであると考えました。したがって、これが当てはまる場合、それらは同じ解決策につながりますか？つまり、LassoとOMは同じ問題を解決するようですが、非常に異なる定式化を使用しています。LASSOのアルゴリズムは、OMがL0の貪欲なアルゴリズムである場合、その凸状の配置を使用して同じソリューションを生成します。これは正しいですか？

‖ X w - y ‖^{2} + λ ‖ w ‖_{0}

$\| Xw - y \|^2 + \lambda \| w \|_0$

‖ X w - y ‖^{2} + λ ‖ w ‖_{1}

$\| Xw - y \|^2 + \lambda \| w \|_1$

— チャーリーパーカー

これは別の質問で尋ねる価値があると思います。一般に、いいえ-L1（ラッソ）とL0（最良のサブセット）のソリューションは異なります。しかし、基礎追跡問題のL0バージョンとL1バージョン（基底追跡ノイズではない）が同じソリューションを提供する特別によく研究された状況があります。

— mweylandt 2018年

ここでは他の質問です：stats.stackexchange.com/questions/337113/...

— チャーリー・パーカー