回帰におけるリッジ正則化の解釈

25

最小二乗コンテキストでのリッジペナルティに関していくつかの質問があります。

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} X^{'} y

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y$

1）この式は、Xの共分散行列が対角行列に向かって縮小されることを示唆しています。これは、（変数が手順の前に標準化されると仮定して）入力変数間の相関が低下することを意味します。この解釈は正しいですか？

2）それは収縮アプリケーションである場合、なぜそれが線で処方されていない $(\lambda I_D + (1-\lambda)X'X)$ 我々が何らかの形で正規化して[0,1]の範囲にラムダを制限することができると仮定すると、。

3）[0,1]のような標準範囲に制限できるように、正規化 $\lambda$ できるもの。

4）対角線に定数を追加すると、すべての固有値に影響します。特異値または特異値に近い値のみを攻撃する方が良いでしょうか？これは、PCAをXに適用し、回帰の前に上位N主成分を保持するのと同じですか、または異なる名前を持っていますか（相互共分散計算を変更しないため）？

5）我々は、クロス共分散を正則化することも、意味、任意の用途を有するない

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} (γ X^{'} y)

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}(\gamma X'y)$

ここで、小さな $\gamma$ は相互共分散を低下させます。これは明らかにすべての $\beta$ 等しく低下させますが、おそらく共分散値に応じてハード/ソフトしきい値処理などのよりスマートな方法があります。

— カグダス・オズゲンク
ソース

IIRCリッジペナルティはないという制約から来る

MSE目的関数のラグランジュ乗数の方法により、。LASSOは同じですが、と

代わりに。私は自分の携帯電話にいるので、現時点では簡単に派生を投稿することはできません。しかし、これらは素晴らしい質問です

\sum β^{2} \leq T

$\sum \beta^2 \leq T$

| β |

$|\beta|$

— shadowtalker

19

良い質問です！

はい、これは正確に正しいです。多くの予測変数が高度に相関している場合に発生する多重共線性問題に対処するための1つの可能な方法として、リッジペナルティを見ることができます。リッジペナルティを導入すると、これらの相関が効果的に低下します。
：私は、これは、部分的伝統、あなたの最初の式で述べたようにリッジ回帰式は、以下のコスト関数から、以下のことを、部分的事実だと思う場合、第二項は廃棄、およびのための標準的なOLSの式に最初の用語（「復元誤差」）リードを最小限にすることができます。ための式に第2項のリードを維持
$L = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta\|^2.$ $\lambda=0$ $\beta$ $\beta_\mathrm{ridge}$ 。このコスト関数は数学的に処理するのに非常に便利であり、これが「正規化されていない」ラムダを好む理由の1つかもしれません。
正規化する1つの可能な方法総分散することにより、それをスケーリングするを使用すること、すなわち、の代わりに、。これは、必ずしも希望閉じ込めるに、それ「次元」になるだろうし、おそらく最適につながる未満であることすべての実用的な例では（NB：これは単なる推測です！）。 $\lambda$ $\mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda \mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda$ $\lambda$ $[0,1]$ $\lambda$ $1$
「小さな固有値のみを攻撃する」には別の名前があり、主成分回帰と呼ばれます。PCRとリッジ回帰の関係は、PCRでは事実上、特定の数の後にすべての固有値をカットする「ステップペナルティ」がありますが、リッジ回帰は「ソフトペナルティ」を適用し、すべての固有値にペナルティを課します。これは、Hastie et al。による統計学習の要素でうまく説明されています。（オンラインで無料で入手可能）、セクション3.4.1。リッジ回帰とPCA回帰の関係の私の回答も参照してください。
私はこれが行わ見られませんが、あなたがフォームでコスト関数を考慮することができることを注目すべきことがないこれはあなたの縮小ゼロにないが、他のいくつかの事前定義された値に。数学うち1つの作品の場合は、最適に到着するによって与えられた
$L = ‖ y - X β ‖^{2} + λ ‖ β - β_{0} ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta-\beta_0\|^2.$ $\beta$ $\beta_0$ $\beta$ おそらく「相互共分散を正則」として見ることができますか？ $β = (X^{⊤} X + λ I)^{- 1} (X^{⊤} y + λ β_{0}),$ $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} (\mathbf X^\top \mathbf y + \lambda \beta_0),$

— アメーバはモニカを復活させると言う
ソース

1

追加するなぜあなたは説明でき

に

の共分散行列という手段

対角行列に向かって収縮させますか？これは、純粋に線形の代数問題だと思います。

λ I_{D}

$\lambda I_D$

X^{'} X

$X'X$

X

$X$

— ハイゼンベルク14

3

@Heisenbergは、よく、

の共分散行列であり、

（最大

スケーリング因子）。

計算するには、この共分散行列を反転する必要があります。リッジ回帰では、我々反転

の代わりに、1が見ることができるように

共分散行列の正則化推定値として。今、用語

対角行列である

対角線上に。

が非常に大きいと想像してください。合計は対角項

によって支配されます

X^{⊤} X

$X^\top X$

X

$X$

1 / N

$1/N$

β

$\beta$

X^{⊤} X + λ I

$X^\top X + \lambda I$

X^{⊤} X + λ I

$X^\top X + \lambda I$

λ I

$\lambda I$

λ

$\lambda$

λ

$\lambda$

ですので、正則化された共分散は、

が大きくなるにつれてますます対角になります。

λ I

$\lambda I$

λ

$\lambda$

— アメーバは、モニカーを復活させる14

wrt Q5、統計学習の要素は、画像処理アプリケーションの平滑性制約を調べます（PDA-447ページ）

— seanv507

10

質問4についてのコメント。実際、リッジ回帰は小さな固有値をかなり効果的に処理しますが、ほとんどの場合、大きな固有値はそのままにします。 $X^{T}X$

これを確認するには、リッジ回帰推定量を特異値分解に関して表現します。 $X$

X = \sum_{i = 1}^{n} σ_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^{n} \sigma_{i}u_{i}v_{i}^{T}$

$u_{i}$ $v_{i}$ $X^{T}X$ $\sigma_{i}^{2}$ $i=1, 2, \ldots, n$

その後、あなたはそれを示すことができます

β_{ridge} = \sum_{i = 1}^{n} \frac{σ_{i}^{2}}{σ_{i}^{2} + λ} \frac{1}{σ_{i}} (u_{i}^{T} y) v_{i} .

$\beta_{\mbox{ridge}}=\sum_{i=1}^{n} \frac{\sigma_{i}^{2}}{\sigma_{i}^{2}+\lambda}\frac{1}{\sigma_{i}} (u_{i}^{T}y) v_{i}.$

$\sigma_{i}^{2}/(\sigma_{i}^{2}+\lambda)$ $\lambda=0$ $\lambda > 0$ $\sigma_{i}^{2} \gg \lambda$ $\sigma_{i}^{2} \ll \lambda$ 、この因子が本質的に0であるものに対応しつつ、小さな固有値に対応する用語が効果的にドロップアウトより大きな固有値が保持されます。

これに対して、主成分回帰では、この式で1（より大きい固有値の場合）または0（ドロップされる小さい固有値の場合）の係数を使用するだけです。

— ブライアン・ボーチャーズ
ソース

1

これはまさに私の答えで簡単に言及したものですが、数学的に詳しく説明し、+ 1することは非常に素晴らしいことです。

— アメーバは、モニカを復活させる14

5

$X$ $X$

λ x + y = κ (α x + (1 - α) y),

$\lambda x + y = \kappa \left( \alpha x + (1-\alpha) y\right),$

α = \frac{λ}{1 + λ}

$\alpha=\frac{\lambda}{1+\lambda}$

κ = 1 + λ

$\kappa = 1+\lambda$

0 \leq λ < + \infty

$0 \leq \lambda < + \infty$

0 < α \leq 1

$0 < \alpha \leq 1$

「特異値または近特異値のみを攻撃する」と説明する手法は、特異スペクトル分析（線形回帰の目的）としても知られています（式19を参照）。「。相互共分散は変更されていません。

$X$

— ヴィンセント・ギモット
ソース

ありがとうございました。PCRでは、次元の縮小が実行された後にyとの共分散が計算されますか？それはPCRとSSAの違いですか？ガンマ（私のものではありません）、アルファを[0,1]に制限するように選択する方法

— カグダスオズゲンク14

1

γ

$\gamma$

κ

$\kappa$

SSAとPCRの違いについては正しいと思いますが、確かに書き留めておく必要があります。

— ビンセントギレモット14