圧縮センシングでは、 が一意のスパースソリューションcを持つという定理が保証され （詳細は付録を参照）。

$$\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc$$ $c$

投げ縄に同様の定理はありますか？そのような定理がある場合は、投げ縄の安定性を保証するだけでなく、投げ縄にさらに意味のある解釈を提供します。

lassoは、y = Xcによって応答yを生成するために使用されるスパース回帰係数ベクトル$c$を明らかにできます。$y$$y = Xc$

この質問をする理由は2つあります。

1. 「lassoはスパースソリューションを優先する」とは、選択した機能の利点が何であるかさえわからないため、機能選択にlassoを使用する理由に対する答えではないと思います。

2. なげなわは機能選択が不安定であることで有名です。実際には、その安定性を評価するためにブートストラップサンプルを実行する必要があります。この不安定性を引き起こす最も重要な理由は何ですか？

---

付録：

X_ {N \ times M} =（x_1、\ cdots、x_M）が与えられ$X_{N \times M} = (x_1, \cdots, x_M)$ます。$c$は$\Omega$ -sparse vector（$\Omega \leqslant M$）です。プロセス$y = Xc$は応答yを生成し$y$ます。場合$X$オーダーのNSP（ヌル空間プロパティ）を有する$\Omega$との共分散行列$X$ゼロへの固有値近いを持っていない、に固有のソリューションが存在することになる

$$\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc$$ これは正確にyを与える$c$です。$y$

この定理が伝えていることは、が次数 NSPを持たない場合でも、を解くことはできません。$X$$\Omega$$\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

---

編集：

これらの素晴らしい答えを受け取った後、私はこの質問をしているときに混乱していることに気付きました。

この質問が混乱する理由：

私は、デザインマトリックスがいくつのフィーチャ（列）を持つかを決定する必要がある研究論文を読みました（補助フィーチャは主フィーチャから作成されます）。これは典型的な問題であるため、は適切に構築され、ラッソの解が実際のスパース解の良い近似になることが期待されます。$X_{N \times M}$$n < p$$D$

推論は、付録で述べた定理に基づいて行われます。 -sparse solutionを見つけることを目的とする場合、は、次数が NSPである方が適切です。$\Omega$$c$$X$$\Omega$

一般的な行列の場合、に違反すると、$N \times M$$N > C \Omega \ln M$

とからのの安定したロバストな回復は不可能$c$$D$$P$

$D$はに対応し、は対応します$X$$P$$y$

...関係から予想されるように、記述子の選択はより不安定になります。つまり、異なるトレーニングセットの場合、選択された記述子はしばしば異なります...$N = C \Omega \ln M$

2番目の引用は私を混乱させる部分です。不平等が破られたとき、それはおそらく一意ではない解決策かもしれない（言及されていない）だけでなく、記述子もより不安定になります。

更新

リスクの一貫性の概念が安定性に関連しているという私の答えに対するマクドナルドのフィードバックについては、この2番目の投稿を参照してください。

---

1）一意性と安定性

独自性と安定性という 2つの非常に異なるトピックについて言及しているため、質問に答えるのは困難です。

• 直感的に、固定データセットが与えられた場合のソリューションは一意であり、アルゴリズムは常に同じ結果を生成します。マーティンの回答はこの点を非常に詳細にカバーしています。

• 一方、安定性は、トレーニングデータをわずかに変更しても予測があまり変化しないものとして直感的に理解できます。

Lasso機能の選択は（多くの場合）相互検証を介して実行されるため、安定性が質問に適用されます。したがって、Lassoアルゴリズムはデータの異なる分割で実行され、毎回異なる結果をもたらす可能性があります。

安定性と無料ランチなしの定理

均一安定性を次のように定義する場合、ここからの定義を使用します。

アルゴリズムは、以下が成立する場合、損失関数に関して均一な安定性を持ちます。$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

関数と考えると、という用語はと書くことができます 。がとして減少する とき、アルゴリズムは安定していると言います。$m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

次に、「無料の昼食なしの定理、徐とカラミス（2012）」は、

アルゴリズムがスパースである場合、冗長な特徴を特定するという意味では、そのアルゴリズムは安定していません（そして、一様安定性境界はゼロになりません）。[...]アルゴリズムが安定している場合、それがまばらになることはありません。（3ページと4ページ）$\beta$

たとえば、正則化回帰は安定しており、冗長な特徴を識別しませんが、正則化回帰（投げ縄）は不安定です。 $L_2$$L_1$

あなたの質問に答える試み

「ラッソがスパースソリューションを支持する」とは、機能選択にラッソを使用する理由に対する答えではないと思います

• Lassoが機能選択に使用される理由は、私が同意しないことです。これは、Lassoがスパースソリューションを生成し、IRFプロパティを持っていることを示すことができるためです。

この不安定さを引き起こす最も重要な理由は何ですか

• 無料のランチの定理

もっと遠く行く

これは、相互検証とLassoの組み合わせが機能しないと言っているのではありません...実際、さまざまな条件下で非常にうまく機能することが実験的に（そして多くの支持理論とともに）示されています。ここでの主なキーワードは、一貫性、リスク、オラクルの不等式です。

：マクドナルドとHomrighausen（2013）によって、次のスライドと紙がなげなわ特徴選択がうまく機能しているの下にいくつかの条件を記述したスライドと紙：「投げ縄、持続性、及びクロスバリデーション、マクドナルドとHomrighausen（2013）」。Tibshirani自身も、sparcity、線形回帰に関する素晴らしいノートを投稿しました

一貫性のためのさまざまな条件と、それらがLassoに与える影響は、活発な研究テーマであり、簡単な問題ではありません。関連するいくつかの研究論文を紹介します。

• Xuによる無料ランチの定理に関するビデオ講義
• HMBøvelstadet all、遺伝子選択のための特徴選択アプローチの比較、（2007）
• なげなわ、持続性、および相互検証、マクドナルドとホムリグハウゼン（2013）
• フアンとボウィック、「安定性の選択」の要約と議論：
• Lim and Yu、相互検証による推定の安定性、（2015）
• Peter Buhlmannによる講演：高次元データの安定性の選択、（2008）、および付随する論文
• Wang、Nan et all、Random Lasso、（2011）
• Stackexchange post：大きな、小さな問題を処理するときのモデルの安定性$p$$n$
• Roberts、Nowakm交差検証の変動に対する投げ縄の安定化（2014）は、「投げ縄に比べて、パーセンタイル投げ縄はモデル選択の不安定性とモデル選択誤差の両方を大幅に削減できる」と主張しています。
• TibshiraniとWassermanによるsparcity、線形回帰に関する素晴らしいノートのセット

ダニエルJ.マクドナルドからのコメント

Xavier Bourret Sicotteからの最初の返答で言及された2つの論文の著者であるインディアナ大学ブルーミントンの助教授。

あなたの説明は、一般的に、かなり正しいです。私が指摘するいくつかのこと：

1. CVと投げ縄に関する一連の論文の目標は、「投げ縄+交差検証（CV）」が「投げ縄+最適な」$\lambda$と同様に機能することを証明することでした。特に、予測が同じように機能することを示したかった（モデルフリー）。係数の正しい回復（適切な非スパースなものを見つける）について説明するには、スパースな真理を仮定する必要がありますが、これは私たちがしたくありませんでした。

2. アルゴリズムの安定性はリスクの一貫性を意味します（最初にBousquetとElisseeffによって証明されたと思います）。リスクの一貫性とは、fがであるか、クラスが誤って指定されている場合は、あるクラス内の最良の予測子である場合、ゼロになります。ただし、これは十分条件です。リンク先のスライドでは、本質的に「なげなわが安定していないため機能しない可能性のある証明手法」として言及されています。$||\hat{f}(X) - f(X)||$$E[Y|X]$

3. 安定性は十分なだけですが、必要ではありません。ある条件下では、「lasso + CV」は「lasso + optimal」と同様に予測することを示すことができました。あなたが引用した論文は、最も弱い仮定（スライド16のを可能にするもの）を示していますが、より一般的なラグランジュバージョンではなく、拘束形式の投げ縄を使用しています。別の論文（http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html）は、ラグランジアンバージョンを使用しています。また、はるかに強い条件下では、モデルの選択も機能することを示しています。他の人々によるより最近の論文（https://arxiv.org/abs/1605.02214）は、これらの結果を改善すると主張しています（私は注意深く読んでいません）。$\lambda$$p>n$

4. 一般的に、投げ縄（または任意の選択アルゴリズム）は安定していないため、「アルゴリズム+ CV」が正しいモデルを選択することを示すには、より慎重な分析や強力な仮定が必要です。これは一般的に非常に興味深いことですが、私は必要な条件を知りません。固定ラムダの場合、投げ縄予測子はローカルにベクトルリプシッツであることを示すのはそれほど難しくありません（Ryan Tibshiraniの論文の1つ以上がこれを行っていると思います）。これがにも当てはまると主張することができれば、これは非常に興味深いものであり、ここでも関係があります。$Y$$X_i$

私があなたの回答に追加する主な要点：「安定性」は「リスク一貫性」または「予測精度」を意味します。また、より多くの仮定の下で「パラメータ推定一貫性」を意味することもあります。しかし、自由ランチの定理は「選択」を意味します「不安定」です。Lassoは固定ラムダを使用しても安定しません。したがって、CV（任意のタイプの）と組み合わせると確実に不安定になります。ただし、安定性の欠如にもかかわらず、一貫性のある、またはないリスク一貫性のある選択です。 CV。一意性はここでは重要ではありません。$\rightarrow$

ラッソは、リッジ回帰とは異なり（たとえば、Hoerl and Kennard、1970; Hastie et al。、2009を参照）、通常は常に一意の解決策があるわけではありません。これは、モデル内のパラメーターの数、変数が連続か離散か、および設計行列のランクに依存します。一意性の条件は、Tibshirani（2013）にあります。

参照：

Hastie、T.、Tibshirani、R.、およびFriedman、J.（2009）。統計学習の要素。統計のスプリンガーシリーズ。スプリンガー、ニューヨーク、第11版、第2版。

エール、AE、およびケナード、RW（1970）。リッジ回帰：非直交問題のバイアス推定。テクノメトリクス、12（1）、55-67。

Tibshirani、RJ（2013）。投げ縄の問題と一意性。統計の電子ジャーナル、7、1456-1490。

非一意性の原因。

ベクトル（ここでは、の変化がを増加または減少させるかどうかを示す記号）で、それらがアフィンに依存しているときはいつでも：$s_ix_i$$s_i$$c_i$$\Vert c \Vert_1$

$$\sum \alpha_i s_i x_i = 0 \qquad \text{and} \qquad \sum \alpha_i =0$$

次に、解とノルム変更しない無限の組み合わせがあります。$c_i + \gamma\alpha_i$$Xc$$\Vert c\Vert_1$

例えば：

$$y = \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 2 & 1 & 0 \\ 1 & 1 & 1 \end{bmatrix} \cdot \begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}= Xc$$

以下のために持っているソリューション：$\Vert c \Vert_1 = 1$

$$\begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}= \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix} + \gamma \begin{bmatrix} 1 \\ -2 \\ 1 \end{bmatrix}$$

$0\leq \gamma \leq \frac{1}{2}$

を使用して、ベクトルを置き換えることができます。$x_2$$x_2 = 0.5 x_1 + 0.5 x_3$

---

この状態のない状況

Tibshiraniからの記事（Philの回答から）では、lassoが独自のソリューションを持つための3つの十分な条件が説明されています。

1. 線形独立ヌルスペースがヌルの場合、または同等にのランクが列数（M）に等しい場合。その場合、上記のような線形結合はありません。$X$$X$

2. 列が一般的な位置にある場合は、アフィン的に独立しています。$Xs$

   つまり、次元平面の点を表す列はありません。k-2次元平面は、として任意の点によってパラメーター化できます。では番目のポイント この同一平面上にあなたが条件だろうと$k$$k-2$$k-1$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 1$$k$$s_jx_j$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 0$

   この例では、列、およびが1行にあることに注意してください。（ただし、符号が負になる可能性があるため、ここでは少し厄介です。たとえば、行列はちょうど同様にユニークなソリューションはありません）$x_1$$x_2$$x_3$$\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$

3. 列のとき連続分布からのもの、それはあなたがの列がありますことを（確率はほぼゼロ）そうである一般的な位置ではありません。$X$$X$

   これとは対照的に、列がカテゴリ変数である場合、この確率は必ずしもほぼゼロではありません。連続変数がいくつかの数値セット（つまり、他のベクトルのアフィンスパンに対応する平面）と等しくなる確率は、「ほぼ」ゼロです。しかし、これは離散変数には当てはまりません。$X$