なげなわペナルティはリグレッサのサブセットにのみ適用されます

この質問は以前に聞いたことがありますが、回答がなかったので、もう一度尋ねるかもしれません。

なげなわペナルティをリグレッサの一部のサブセット、つまり目的関数に適用することに興味があります

$E = ||\mathbf{y} - \mathbf{X}_1 \boldsymbol{\beta}_1 - \mathbf{X}_2 \boldsymbol{\beta}_2||^2 + \lambda ||\boldsymbol{\beta}_1||_1$

なげなわはのみ適用されます $\boldsymbol{\beta}_1$ が、 $\boldsymbol{\beta}_2$ は再構築に関与します。

この背後にある理論はありますか？第二に、とにかくこれをsklearnで行うことはありますか？

scikit-learn lasso

— user180303
ソース

回答:

してみましょうの列空間への直交プロジェクターも。我々はそれを持っているここで $H_2$ $X_2$

\begin{aligned} min_{β_{1}, β_{2}} {‖ y - X_{1} β_{1} - X_{2} β_{2} ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ = & min_{β_{1}, β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2} + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ = & min_{β_{1} | β_{2}} min_{β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2} + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}}, \end{aligned}

$\begin{align*} & \min_{\beta_1, \beta_2} \left\{ \|y - X_1\beta_1 - X_2\beta_2\|_2^2 + \lambda \|\beta_1\|_1 \right\} \\ = & \, \min_{\beta_1, \beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\} \\ = & \, \min_{\beta_1 | \beta_2} \min_{\beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\}, \end{align*}$

\begin{aligned} {\hat{β}}_{2} & = \arg min_{β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2} + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ = \arg min_{β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2}} \end{aligned}

$\begin{align*} \hat\beta_2 & = \arg\min_{\beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\} \\ & = \arg\min_{\beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 \right\} \end{align*}$ はすべてのに対して以降 for all。この文では、がフルランクである場合を考える、ため、この場合は。

X_{2} {\hat{β}}_{2} = H_{2} (y - X_{1} β_{1})

$X_2 \hat\beta_2 = H_2 (y - X_1 \beta_1)$

β_{1}

$\beta_1$

H_{2} (y - X_{1} β_{1}) \in c o l (X_{2})

$H_2 (y - X_1 \beta_1) \in \mathrm{col}(X_2)$

β_{1}

$\beta_1$

X_{2}

$X_2$

{\hat{β}}_{2} = (X_{2}^{T} X_{2})^{- 1} X_{2}^{T} (y - X_{1} β_{1}),

$\hat\beta_2 = (X_2^T X_2)^{-1} X_2^T (y - X_1 \beta_1),$

H_{2} = X_{2} (X_{2}^{T} X_{2})^{- 1} X_{2}

$H_2 = X_2 (X_2^T X_2)^{-1} X_2$

これを最初の最適化問題に組み込むと、これは通常の投げ縄計算ツールで評価できます。whuberが彼のコメントで示唆しているように、無制限の係数はのスパンをカバーできるため、評価するときにのスパンに直交する空間の部分のみが問題になるため、この結果は直観的。

\begin{aligned} {\hat{β}}_{1} & = \arg min_{β_{1}} {0 + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ (*) & = \arg min_{β_{1}} {‖ (I - H_{2}) y - (I - H_{2}) X_{1} β_{1} ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}}, \end{aligned}

$\begin{align*} \hat\beta_1 & = \arg\min_{\beta_1} \left\{ 0 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\} \\ & =\arg\min_{\beta_1} \left\{ \|\left(I-H_2\right)y - \left(I-H_2\right)X_1\beta_1 \|_2^2 + \lambda \|\beta_1 \|_1 \right\}, \tag{*} \end{align*}$

β_{2}

$\beta_2$

X_{2}

$X_2$

X_{2}

$X_2$

{\hat{β}}_{1}

$\hat\beta_1$

表記が少し一般的であるにもかかわらず、投げ縄を使用したことがあるほとんど誰もがこの結果に精通しています。これを確認するために、が切片を表すの（長さ）ベクトルであると仮定します。次に、射影行列、および任意のベクトルに対して、正射影は、ベクター。方程式考えると、これはまさにラッソ係数を計算するときに行うことです！それらは切片を考慮する必要がないようにデータを降格します。 $X_2 = \mathbf{1}$ $n$ $H_2 = \mathbf{1} \left( \mathbf{1}^T \mathbf{1} \right)^{-1} \mathbf{1}^T = \frac{1}{n} \mathbf{1} \mathbf{1}^T$ $v$ $\left( I - H_2 \right) v = v - \bar{v} \mathbf{1}$ $(*)$

— user795305
ソース

そのようなアプローチの背後には多くの「理論」が必要であることを知らない。ペナルティ付き回帰アプローチ（LASSO、リッジ、またはそれらのハイブリッドエラスティックネット回帰）は、モデルの一般化可能性とパフォーマンスを改善するためにバイアス分散のトレードオフを行うためのツールです。を提案するように、いくつかの変数にペナルティを課さないようにすることもできますが、他の変数にはペナルティが課されます。たとえば、このペーパーでは、リッジ回帰L2ペナルティを持つ他の共変量を組み込んで、ワクチン接種のステータスをペナルティなしに保つことにより、ワクチンの有効性を検討しました。このアプローチは、共変量の過剰適合を回避しながら、関心のある主要な予測子を直接評価できるようにしました。 $\beta_2$

特定のプログラミング環境での実装に関する質問は、このサイトではトピックから外れています。R のglmnetパッケージのように、この問題に取り組む一般的な方法の1つは、目的関数を評価する前に、全体的な選択を乗算する予測子固有のペナルティファクターを含めることです。予測子のデフォルトのペナルティファクターは1ですが、指定されたペナルティファクターが0の予測子にはまったくペナルティが適用されず、無限のペナルティファクターを持つ予測子は常に除外されます。予測子間で異なるペナルティファクターの中間値は、予測子間で任意の望ましい差分ペナルティを提供できます。このアプローチは、によって提供されるツールに何らかの形で組み込むことができると思います。 $\lambda$ sklearn

— EdM
ソース

1通常以来 1がの効果取り除くことができように見える、指定されたが、いくつかの他の手段では見られないに（回帰することにより、に対する、フィット）と応答などと調整などを回帰子、およびのみを回帰子として使用して残差に対して投げ縄を実行します。の解の空間は同じになりますが、パラメータ（重要ではない）定数が乗算される場合があります。リッジ回帰の回避策はさらに簡単です。

λ

$\lambda$

X_{1}

$X_1$

X_{2}

$X_2$

X_{2}

$X_2$

X_{1}

$X_1$

β_{2}

$\beta_2$

Y

$Y$

X_{2}

$X_2$

X_{1}

$X_1$

β_{1}

$\beta_1$

λ

$\lambda$

— whuber