リッジ回帰ソリューションの導出方法

40

リッジ回帰の解の導出にいくつかの問題があります。

正則化用語のない回帰ソリューションを知っています：

β = (X^{T} X)^{- 1} X^{T} y .

$\beta = (X^TX)^{-1}X^Ty.$

$\lambda\|\beta\|_2^2$

β = (X^{T} X + λ I)^{- 1} X^{T} y .

$\beta = (X^TX + \lambda I)^{-1}X^Ty.$

— user34790
ソース

23

ペナルティを追加して損失関数を変更するだけで十分です。行列の項では、初期の2次損失関数はに関して導出すると、通常の方程式になり、リッジ推定量になります。

(Y - X β)^{T} (Y - X β) + λ β^{T} β .

$(Y - X\beta)^{T}(Y-X\beta) + \lambda \beta^T\beta.$

β

$\beta$

X^{T} Y = (X^{T} X + λ I) β

$X^{T}Y = \left(X^{T}X + \lambda I\right)\beta$

— ジョニー
ソース

1

どうしての導関数がと等しいのか

λ β^{T} β

$\lambda \beta^T \beta$

λ I β

$\lambda I \beta$

— ユーザー34790

4

@ user34790そうではありません。等しい。しかし、2は他の条件で同様の2でキャンセルされます。もちろん、ファクターは「通常の」代数の1のファクターのようなもので、何も変更せずに好きな場所で乗算できます。

2 λ β

$2\lambda\beta$

I

$I$

— ビル

4

@bill：ここにあなたが必要とする添加すると、で動作しますので、正確な次元の行列を取得するために、：単なるスカラーである

I

$I$

X^{T} X

$X^TX$

λ

$\lambda$

— ヘンリー

47

レッツ・私たちが知っていることで、ビルド、いつでもということであるモデル行列である、応答 -ベクトルであり、およびパラメータ -ベクトルである、目的関数 $n\times p$ $X$ $n$ $y$ $p$ $\beta$

f (β) = (y - X β)^{'} (y - X β)

$f(\beta) = (y - X\beta)^\prime(y - X\beta)$

（残差の二乗和）は、が正規方程式を解くときに最小化されます $\beta$

(X^{'} X) β = X^{'} y .

$(X^\prime X)\beta = X^\prime y.$

リッジ回帰は、目的関数に別の用語を追加し（通常、すべての変数を標準化して共通の基盤に配置した後）、最小化するよう求めます。

(y - X β)^{'} (y - X β) + λ β^{'} β

$(y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta$

負でない定数。これは、残差の二乗和に係数自体の二乗和の倍数を加えたものです（グローバル最小値を持っていることが明らかです）。ので、それが正の平方根あり。 $\lambda$ $\lambda\ge 0$ $\nu^2 = \lambda$

行列考えてみましょに対応する行で拡張回単位行列： $X$ $\nu$ $p\times p$ $I$

X_{*} = (\begin{matrix} X \\ ν I \end{matrix})

$X_{*} = \pmatrix{X \\ \nu I}$

ベクトルが末尾にゼロで同様に拡張される場合、目的関数の行列積はの形式の追加項を追加します。元の目的に。だから $y$ $p$ $y_{*}$ $p$ $(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

(y_{*} - X_{*} β)^{'} (y_{*} - X_{*} β) = (y - X β)^{'} (y - X β) + λ β^{'} β .

$(y_{*} - X_{*}\beta)^\prime(y_{*} - X_{*}\beta) = (y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta.$

左側の式の形式から、正規方程式は次のようになります

(X_{*}^{'} X_{*}) β = X_{*}^{'} y_{*} .

$(X_{*}^\prime X_{*})\beta = X_{*}^\prime y_{*}.$

の末尾にゼロを隣接させたため、右側はと同じです。左側では、元のにが追加されます。したがって、新しい正規方程式は、 $y$ $X^\prime y$ $\nu^2 I=\lambda I$ $X^\prime X$

(X^{'} X + λ I) β = X^{'} y .

$(X^\prime X + \lambda I)\beta = X^\prime y.$

概念的に経済的であることに加えて、この結果を導き出すために新しい操作は必要ありません。計算的にも経済的です。通常の最小二乗を行うソフトウェアは、何も変更することなくリッジ回帰を行います。 （それにもかかわらず、この目的のために設計されたソフトウェアを使用すると、大きな問題で役立つ可能性があります。これは、の特別な構造を活用して、密集した間隔で結果を効率的に取得し、回答の変化を調べることができるためです。） $X_{*}$ $\lambda$ $\lambda$

このような物事の見方のもう1つの利点は、それがどのように尾根回帰を理解するのに役立つかです。回帰を実際に理解したい場合、幾何学的に考えるのがほとんど常に役立ちますの列は、次元実ベクトル空間のベクトルを構成します。隣接によってにからそれらを延長することにより、に-vectors -vectorsを、我々は埋め込む大きなスペースにを含むことにより「想像上の」相互に直交する方向。の最初の列 $X$ $p$ $n$ $\nu I$ $X$ $n$ $n+p$ $\mathbb{R}^n$ $\mathbb{R}^{n+p}$ $p$ $X$ は、サイズ小さな虚数成分を与えられ、それにより、それを長くし、元の列によって生成されたスペースから移動します。第二は、第三の、...、列が同様に長く、同じ量だけ元の空間から移動されている - 異なる新たな方向ではなく、すべての。 したがって、元の列に存在する共線性はすぐに解決されます。さらに、が大きくなるほど、これらの新しいベクトルが個々の近づく $\nu$ $p$ $p^\text{th}$ $\nu$ $\nu$ $p$ 想像上の方向：それらはますます正規直交になります。その結果、正規方程式の解はすぐに可能になり、がから増加するにつれて数値的に安定し。 $\nu$ $0$

このプロセスの説明は、 Ridge Regressionが処理するように設計された問題に対処するための斬新で創造的なアプローチを示唆しています。例えば、いかなる手段を使って（そのように彼らの1980本でBelsley、KUH、およびウェルシュによって記述分散分解として回帰診断、第3章）、あなたは、ほぼ同一直線上の列のサブグループを識別することができるかもしれない、どこ各サブグループを他とほぼ直交しています。あなただけの多くの行として付け加える必要がある（にとゼロを離れた兄弟からのグループの各要素を移動させるための1の新しい「虚」の次元を捧げる最大のグループ内の要素が存在するとして）：あなたは必要としない架空のこれを行うための寸法。 $X$ $X$ $y$ $p$

— ウーバー
ソース

2

この本の最後の著者は、ウェールズではなくウェールシュです。

— マークL.ストーン

1

おっと、これは私の心を吹き飛ばしました。これが線形モデルの外で一般化された場合、つまりglmの場合に何が起こるかについての議論はありますか？ペナルティは、リッジ回帰と同じになるべきではありません...しかし、この解釈は、潜在的な有用な推定量であることを意味します！

— クリフAB

2

@Cliffそれは非常に興味深い提案です。ただし、GLMの推定はより複雑な方法で依存し、その推定量はOLSの場合のようにの形式で通常は因数分解できないため（ and）、ペナルティ関数を課すこととの列を変更することの間に有用な関係を確立することは難しいかもしれません。特に、これを機能させるためにの値をどのように増やす必要があるかは不明です。

X

$X$

\hat{β} = g (X) \cdot h (y)

$\hat\beta = g(X)\cdot h(y)$

g (X) = (X^{'} X)^{- 1} X^{'}

$g(X)=(X^\prime X)^{-1}X^\prime$

h (y) = y

$h(y)=y$

X

$X$

y

$y$

— whuber

1

はい、ペナルティが何であるかを確立するためにいくつかの考えが必要になりますが、私はそれについてそれほど心配していません。使用するのアイデアも一般に簡単ではありません...おそらく2つの追加できるロジスティック回帰の場合を除きます。0の1つと1の1つ。この拡張は、「+ 2二項推定器」のより一般的なバージョンになります（この推定器には、基本的な事後平均を使用して二項分布からを推定するときに使用するより適切な名前があります）一様な事前分布をもつ推定値）。

y_{*}

$y_*$

y_{*}

$y_*$

p

$p$

p

$p$

— クリフAB

@マーク訂正していただきありがとうございます。あなたは私が記憶から行っていたと言うことができます... :-)。

— whuber

20

導出には行列計算が含まれますが、これは非常に面倒です。次の問題を解決したいと思います：

\underset{β}{分} （ Y - β^{T} バツ ）^{T} （ Y - β^{T} バツ ） + λ β^{T} β

$\begin{equation} \min_\beta (Y-\beta^T X)^T(Y-\beta^T X)+\lambda \beta^T \beta \end{equation}$

今なおおよび一緒に、一次条件に到達しを分離すると解が得られます：

\frac{\partial （ Y - β^{T} バツ ）^{T} （ Y - β^{T} バツ ）}{\partial β} = - 2 {バツ}^{T} （ Y - β^{T} バツ ）

$\begin{equation} \frac{\partial (Y-\beta^T X)^T (Y-\beta^T X)}{\partial \beta}=-2X^T(Y-\beta^T X) \end{equation}$

\frac{\partial λ β^{T} β}{\partial β} = 2 λ β 。

$\begin{equation} \frac{\partial \lambda \beta^T \beta}{\partial \beta}=2\lambda\beta. \end{equation}$

{バツ}^{T} Y = {バツ}^{T} バツ β + λ β 。

$\begin{equation} X^TY = X^TX\beta + \lambda\beta. \end{equation}$

β

$\beta$

β = （ {バツ}^{T} バツ + λ 私 ）^{- 1} {バツ}^{T} Y 。

$\begin{equation} \beta = (X^TX+ \lambda I )^{-1}X^T Y. \end{equation}$

— Pthesling
ソース

9

私は最近、P-スプラインのコンテキストで同じ質問に出くわしました。概念は同じなので、リッジ推定量の導出に関するより詳細な答えを出したいと思います。

最後の被告のペナルティ項によって、古典的なOLS基準関数とは異なるペナルティ付き基準関数から始めます。

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

どこで

$p=$ モデルで使用される共変数の量
$x_i^T\beta =$ 標準線形予測子
最初の加数は、通常どおり最小化するMSE（実際の値からの予測の二乗発散）を表します
2番目の被加数は、係数に適用されるペナルティを表します。ここでは、ユークリッド距離測定を意味するリッジコンテキストにあるため、罰則期間の次数は2です。Lasso-Penalizationの場合、次数1を適用し、まったく異なる推定量を生成します。

この基準を行列表記で書き直し、さらに分解することができます。

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ と単位行列であります $I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

次に、基準を最小化するを検索します。とりわけ、行列微分規則を使用します。ここにとして適用します。 $\beta$ $\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$ $(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

— ヤン・ゴッシェンホーファー
ソース

@ Jahn、がなった経緯を説明してください。ちょうど転置を適用したと思います。ただし、すべての方程式に適用せずに、1つの項に転置を適用することはできません。ここで何が欠けていますか？

y^{T} バツ β

$y^TX\beta$

β^{T} {バツ}^{T} y

$\beta ^TX^Ty$

— 理論家

1

@theateist転置されたスカラーは同じスカラーです。

— コンスタンチン

2

与えられた答えに欠けているいくつかの重要なことがあります。

の解は、1次の必要条件から導出されます。は、。しかし、これで十分ですか？つまり、解は、が厳密に凸である場合にのみ、グローバルな最小値になります。これは真実であることが示されます。 $\beta$ $\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$ $\beta = (X^TX+ \lambda I )^{-1}X^T Y$ $f_{ridge}(\beta, \lambda)$
問題を見る別の方法は、と制約されます。OLSはOrdinary Least Squaresの略です。この観点から、は、凸関数制約された凸目的関数のグローバル最小値を見つけるために使用されるラグランジュ関数です。。 $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$ $||\beta||^2_2 \leq t$ $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta)$ $||\beta||^2_2$

これらのポイントとの派生の適切な説明は、次のすばらしい講義ノートにあります：http : //math.bu.edu/people/cgineste/classes/ma575/p/w14_1.pdf $\beta$

— デイバー・ジョシポビッチ
ソース