LASSOの自由度の直観

ゾウ他 「なげなわの「自由度」」（2007）は、非ゼロ係数の数がなげなわの自由度の公平で一貫した推定値であることを示しています。

それは私には少し直感に反しているようです。

• 回帰モデルがあると仮定します（変数は平均がゼロです）。

$$y=\beta x + \varepsilon.$$

• 無制限のOLS推定値がます。これは、非常に低いペナルティ強度に対する LASSO推定値とほぼ一致する可能性があります。$\beta$$\hat\beta_{OLS}=0.5$$\beta$
• さらに、特定のペナルティ強度 LASSO推定値がます。たとえば、は、クロス検証を使用して見つかったデータセットの「最適な」になります。 $\lambda^*$$\hat\beta_{LASSO,\lambda^*}=0.4$$\lambda^*$$\lambda$
• 正しく理解すれば、どちらの場合も1つの非ゼロ回帰係数があるため、どちらの場合も自由度は1です。

質問：

• はよりもフィッティングの「自由」が少ないことを示唆しているのに、どちらの場合も自由度は同じなのでしょうか？ β OLS=$\hat\beta_{LASSO,\lambda^*}=0.4$$\hat\beta_{OLS}=0.5$

参照：

• Zou、Hui、Trevor Hastie、およびRobert Tibshirani。「投げ縄の「自由度」について。」 統計学年報35.5（2007）：2173-2192。

我々は一連の与えられていると仮定しP次元観察、X I ∈ Rの Pを、私は= 1 、... 、N。フォームのモデルを仮定： Yは、iが = ⟨ β 、X I ⟩ + ε ここで、ε 〜N （0 、σ 2）、β ∈ R P、及び⟨ ⋅ 、⋅ ⟩内積を表します。$n$ $p$$x_i \in \mathbb{R}^p$$i = 1, \dotsc, n$

$$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$$ $\epsilon \sim N(0, \sigma^2)$$\beta \in \mathbb{R}^p$$\langle \cdot, \cdot \rangle$は、フィッティング手法δ（目的に応じてOLSまたはLASSOのいずれか）を使用したβの推定値です。物品（式1.2）で与えられる自由度のための式は、 DF （β）= N Σ iが= 1 Covを（⟨ β、X I ⟩ 、Y Iを$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$$\beta$$\delta$ $$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$$

この式を調べることにより、あなたの直感に従って、LASSOの真の DOFは実際にOLSの真の DOF より小さいと推測できます。LASSOの影響を受ける係数収縮は、共分散を減少させる傾向があります。

さて、あなたの質問に答えるために、あなたの例でLASSOのDOFがOLSのDOFと同じである理由は、モデルからサンプリングされた特定のデータセットから得られた推定値（バイアスのない推定値）を扱っているからです、真のDOF値。特定のデータセットの場合、そのような推定値は真の値と等しくなりません（特に、推定値は整数である必要がありますが、真の値は一般に実数です）。

$\lambda$