リッジ回帰：値に向けて正則化

7

従来のリッジ回帰推定は

{\hat{β}}_{r i d g e} = (X^{T} X + λ I)^{- 1} X^{T} Y

$\hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} X^T Y$

これは、ペナルティ項を追加することで得られます。 $\lambda ||\beta||^2_2$

私は特定の価値に向けて正則化することに関する文献を見つけるのに苦労してきました。特に、ペナルティの形式を使用するリッジ回帰モデルを調べました。ここで、は、繰り返し再重み付けされた最小二乗の設定での初期推定です。次に、リッジ回帰推定は $\lambda ||\beta-B||^2_2$ $B$ $\beta$

{\hat{β}}_{r i d g e} = (X^{T} X + λ I)^{- 1} (X^{T} Y + λ B) .

$\hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} (X^T Y + \lambda B).$

ラムダパラメータも非常に大きく（）選択されているため、推定値がに収束しようとしているように見えます。 $\lambda=100000$ $B$

なぜ値に向けて正則化するのですか？これはの解釈を変えますか？ $\beta$

コメントや引用は大歓迎です。ありがとう！

— シンディラサプー
ソース

3

正則化、IRLS、特定の値に焦点を当てることなど、いくつかの異なることに関係しているように思われるため、私はあなたの質問に完全には従いません。ただし、後者については、をに置き換える場合は、標準のリッジ回帰を適用できます。それが良いアイデアかどうかは、IRLSがデータに対して何を達成しているかに依存します。明らかに、結果はIRLSの見積もりに非常に敏感である可能性があります。

Y

$Y$

Y - X B

$Y-XB$

— whuber

私は本当に、彼らが使用したペナルティ用語の目的と、リッジの推定値にまだ解釈があるかどうかを知りたかっただけです。ここのは紙の行列ですが、とはまだベクトルです。私が理解できないように思えるのは、それらが予測子行列の最終推定値にあることです。ブロックの対角線を考えて、上下に対角線が優勢な構造がいくつかの貢献をすることを期待します。ただし、そうではないので、ペナルティとリッジの値の異なる組み合わせを使用すると、解釈が変更されるのではないかと思います。

β

$\beta$

Y

$Y$

X

$X$

— CindyLhasapoo

とがベクトルでが行列であるということは、数学的にも統計的にも意味がありません。通常、は計画行列（すべてのリグレッサ変数の値を含む）、は（応答の）ベクトル、は係数のベクトルです。リッジ回帰の推定値の意味を理解したい場合は、リッジ回帰とは何かを確認してください。最初のコメントで指摘したように、記述した内容は標準のリッジ回帰モデルとして再定式化できます。

X

$X$

Y

$Y$

β

$\beta$

X

$X$

Y

$Y$

β

$\beta$

— whuber

ソフトウェアで実装されている場合、オフセットを使用して、ゼロ以外の値に向けて正則化を実装できます。

— kjetil b halvorsen 2017年

でstats.stackexchange.com/a/311490/919、私は特定の値に向けて規則化すると、解釈に役立つはずです0の方に規則化と同じものであるという主張の詳細を提供します。

— whuber

5

コスト関数があります

‖ y - X β ‖_{2}^{2} + γ ‖ β - β_{0} ‖_{2}^{2}

$\| \mathrm y - \mathrm X \beta \|_2^2 + \gamma \| \beta - \beta_0 \|_2^2$

ここで、です。最小値は $\gamma \geq 0$

\hat{β} := (X^{⊤} X + γ I)^{- 1} (X^{⊤} y + γ β_{0})

$\hat{\beta} := ( \mathrm X^{\top} \mathrm X + \gamma \mathrm I )^{-1} ( \mathrm X^{\top} \mathrm y + \gamma \beta_0 )$

なおながら可逆ではないかもしれない、ある常になら可逆。 $\mathrm X^{\top} \mathrm X$ $\mathrm X^{\top} \mathrm X + \gamma \mathrm I$ $\gamma > 0$

もし、その後、 $\gamma \gg 1$

\begin{aligned} \hat{β} & = (X^{⊤} X + γ I)^{- 1} (X^{⊤} y + γ β_{0}) \\ = (γ^{- 1} X^{⊤} X + I)^{- 1} (γ^{- 1} X^{⊤} y + β_{0}) \\ \approx (I - γ^{- 1} X^{⊤} X) (β_{0} + γ^{- 1} X^{⊤} y) \\ \approx (I - γ^{- 1} X^{⊤} X) β_{0} + γ^{- 1} X^{⊤} y \\ = β_{0} + γ^{- 1} X^{⊤} (y - X β_{0}) \end{aligned}

$\begin{array}{rl} \hat{\beta} &= ( \mathrm X^{\top} \mathrm X + \gamma \mathrm I )^{-1} ( \mathrm X^{\top} \mathrm y + \gamma \beta_0 )\\ &= ( \gamma^{-1} \mathrm X^{\top} \mathrm X + \mathrm I )^{-1} ( \gamma^{-1} \mathrm X^{\top} \mathrm y + \beta_0 )\\ &\approx ( \mathrm I - \gamma^{-1} \mathrm X^{\top} \mathrm X ) ( \beta_0 + \gamma^{-1} \mathrm X^{\top} \mathrm y )\\ &\approx ( \mathrm I - \gamma^{-1} \mathrm X^{\top} \mathrm X ) \beta_0 + \gamma^{-1} \mathrm X^{\top} \mathrm y\\ &= \beta_0 + \gamma^{-1} \mathrm X^{\top} \left( \mathrm y - \mathrm X \beta_0 \right)\end{array}$

大きな場合、おおよその推定値があります $\gamma$

\tilde{β} := β_{0} + γ^{- 1} X^{⊤} (y - X β_{0})

$\boxed{\tilde{\beta} := \beta_0 + \gamma^{-1} \mathrm X^{\top} \left( \mathrm y - \mathrm X \beta_0 \right)}$

もし、次に、予想通り。両側をで左乗算すると、 $\gamma \to \infty$ $\tilde{\beta} \to \beta_0$ $\mathrm X$

X \tilde{β} = X β_{0} + γ^{- 1} X X^{⊤} (y - X β_{0})

$\mathrm X \tilde{\beta} = \mathrm X \beta_0 + \gamma^{-1} \mathrm X \mathrm X^{\top} \left( \mathrm y - \mathrm X \beta_0 \right)$

したがって、

y - X \tilde{β} = (I - γ^{- 1} X X^{⊤}) (y - X β_{0})

$\mathrm y - \mathrm X \tilde{\beta} = \left( \mathrm I - \gamma^{-1} \mathrm X \mathrm X^{\top} \right) \left( \mathrm y - \mathrm X \beta_0 \right)$

私たちは、得られる、大きいがための誤差ベクトルの近似有限の点で、、誤差ベクトルの無限。 $\mathrm y - \mathrm X \tilde{\beta}$ $\gamma$ $\mathrm y - \mathrm X \beta_0$ $\gamma$

これは特に洞察力や有用性はありませんが、何もないよりはましです。

— ロドリゴ・デ・アゼベド
ソース

書き換え及び。これで、コストの通常のRidge Regression設定ができ、解をすぐに書き留めることができます。

β - β_{0} = α

$\beta-\beta_0=\alpha$

y = z - X β_{0}

$y=z-X\beta_0$

| | z - X α | |^{2} + γ | | α | |^{2}

$||z-X\alpha||^2+\gamma||\alpha||^2$

— whuber

3

概念的には、ベイジアン更新の観点から考えると役立つ場合があります。ペナルティ項は、精度した事前推定と同等です（つまり、多変量ガウスの事前 $\beta_0$ $\lambda$ $\beta\sim\mathrm{N}_{\beta_0,\,I/\lambda}).$

この意味で、「非常に大きい」は特定の数値に対応していません。むしろそれはエラーを「支配する」値となるので、数値的にはある基準に対して相対的に大きくなければなりません設計マトリックスの。したがって、あなたの例では、が「非常に大きい」かどうかは、詳細情報がないとわかりません。 $\lambda$ $\|X\|$ $\lambda=100000$

とはいえ、なぜ「非常に大きな」値が使用されるのでしょうか。私が実際に見た一般的なケースは、実際の問題が等式制約付き最小二乗である場合ですが、これは「大きな」を使用したTikhonov正則化を使用して概算されます。（これはあなたの場合よりも少し一般的であり、「広い」行列に対応するため、は正確に解くことができます。） $\lambda$ $\Lambda$ $\Lambda(\beta-\beta_0)=0$

— GeoMatt22
ソース

通常、リッジ回帰はの列を標準化した後でのみ実行され、に固有の意味を持たせることができます。

X

$X$

λ

$\lambda$

— whuber

@whuber知らなかった情報ありがとうございます。

— GeoMatt22 2016年

2番目のパラメーターが共分散行列を表す場合、それはだと思います。

N_{β_{0}, I / λ}

$N_{\beta_0,I/\lambda}$

— Benoit Sanchez

@BenoitSanchezありがとう！前にちょうど5ワード精度と呼んでいたので、私が何を考えていたかわからない:)

— GeoMatt22

私があなたの質問を読んで、私たちの一人が何かを欠落しているのではないかと思ったとき、私は同様の答えを書いていました:-)

— Benoit Sanchez

2

「なぜ値に正則化するのですか？これは解釈を変更しますか？」 $\beta$

転移学習は、機械学習の一種であり、タスクの実行時にソースドメインの知識が同じタスクの実行時にターゲットドメインに転送されます。つまり、タスクは同じままですが、2つのドメインのデータセットが異なります。

転移学習を実行する1つの方法は、パラメーターの共有です。高いレベルの直感は、ターゲットドメインモデルのパラメーターは、ソースドメインモデルのパラメーターに非常に近いものでありながら、ある程度の不確実性を許容する必要があることです。数学的には、この直感は、パラメータの偏差にペナルティを課すことによって取得されます。つまり、、ここで、はペナルティパラメータであり、Wはモデルパラメータのベクトルです。 $\lambda\|W_{target}−W_{source}\|^2_2$ $λ$

このアプローチを使用して、条件付きランダムフィールドの転移学習を実行しました。式を見てください。4および関連テキスト。

クローズドフォームソリューションの解釈可能性に関して、ここに投稿されたリッジ回帰に関する同様の質問がありました。

— アナタラジ
ソース

1

ベイジアンの観点からそれを理解することは可能です。

線形回帰のリッジ正則化は、変装したベイズ法です。参照：https : //en.wikipedia.org/wiki/Lasso_ (statistics)#Bayesian_interpretation（ウィキペディアのLassoページで説明を理解する方が簡単ですが、Ridgeと同じ考え方です）。

正則化に使用する規則は次のとおりです。最小化：。簡単にするために、ノイズの分散はであると想定します（そうでない場合は、を置き換えます）。 $\left(\displaystyle\sum_{i=1}^N(y_i-\beta x_i)^2\right)+\lambda\|\beta-\beta_0\|^2$ $\sigma^2=1$ $\lambda$ $\lambda/\sigma^2$

係数正則化は、通常の事前を想定することを意味し： "私は事前の信念として、係数が小さいことを期待します"：事前分布は平均正規分布ですおよび「半径」。向けて正則化することは、通常の事前を想定することを意味し： "係数がから遠くないという事前の信念として期待し "：事前分布は正規です平均と "半径"分布。 $\lambda$ $N(0;\frac{1}{\lambda}I)$ $0$ $\sqrt\frac{1}{\lambda}$ $\beta_0$ $N(\beta_0;\frac{1}{\lambda}I)$ $\beta_0$ $\beta_0$ $\sqrt\frac{1}{\lambda}$

これは、多くの場合、推定としてを与えた以前のトレーニングから生じます。あなたの信念の強さは、最初のトレーニングセットの統計的検出力です。ラムダが大きいということは、以前に多くの情報があったことを意味し、新しいサンプルごとに信念が少しだけ変更されます。サンプルごとの小さな更新です。 $\beta_0$ $\lambda$

— ブノワ・サンチェス
ソース