と間のLASSO関係

LASSO回帰についての私の理解は、最小化問題を解決するために回帰係数が選択されることです。

min_{β} ‖ y - X β ‖_{2}^{2} s . t . ‖ β ‖_{1} \leq t

$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$

実際には、これはラグランジュ乗数を使用して行われ、問題を解決します

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$

$\lambda$ と関係は何 $t$ ですか？ウィキペディアは、それが「データに依存する」と単純に述べているが役に立たない。

なぜ気にするのですか？まずは知的好奇心。しかし、交差検証によってを選択した場合の結果についても心配してい $\lambda$ ます。

具体的には、n分割交差検証を行っている場合、トレーニングデータのn個の異なるパーティションにn個の異なるモデルを適合させます。次に、指定された未使用データの各モデルの精度を比較します $\lambda$ 。ただし、同じは、データの異なるサブセットに対して $\lambda$ 異なる制約（ $t$ ）を意味します（つまり、 $t=f(\lambda)$ は「データ依存」です）。

最良のバイアス精度のトレードオフを与えるを見つけるために本当に解決したい相互検証問題ではない $t$ ですか？

実際にこの効果のサイズの大まかなアイデアを得るには、各交差分割とに対してを計算し、結果の分布を確認します。場合によっては、暗黙の制約（）が交差検証サブセット全体で大幅に変化することがあります。ここで実質的に私は変動係数を意味し。 $\|\beta\|_1$ $\lambda$ $t$ $t>>0$

— ConstantAmateur
ソース

説明されていない反対投票を取り消すための賛成投票。質問は私の専門知識の外ですが、それは合理的に定式化されているようです。

— mkt-モニカを2017年

これはリッジ回帰の標準的な解決策です：

β = {(X^{'} X + λ I)}^{- 1} X^{'} y

$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$

また、なので、それは真でなければなりません $\| \beta \| = t$

‖ {(X^{'} X + λ I)}^{- 1} X^{'} y ‖ = t

$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$ 。

を解くのは簡単ではありません。 $\lambda$

あなたの最善の策は、あなたがしていることをそのまま続けることです：複数の値にわたってデータの同じサブサンプルでを計算します。 $t$ $\lambda$

— シャドウトーカー
ソース