負のリッジ回帰を理解する

負の尾根回帰に関する文献を探しています。

要するに、それは負の使用線形リッジ回帰の一般化である $\lambda$ 推定式

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$ ポジティブなケースには素晴らしい理論があります：損失関数として、制約として、以前のベイズとして...しかし、私は上記の式だけを使ったネガティブなバージョンで迷っています。それはたまたま私がしていることには役立ちますが、私はそれを明確に解釈することができません。

ネガティブリッジに関する深刻な導入テキストを知っていますか？どのように解釈できますか？

regression regularization ridge-regression

— ブノワ・サンチェス
ソース

それについて語っている紹介文は知りませんが、この情報源、特に18ページの最後にあるディスカッションの啓発的なものかもしれません：jstor.org/stable/4616538?seq

— Ryan Simmons

リンクが将来死ぬ場合、完全な引用は、Björkström、A.とSundberg、R.の「連続体回帰に関する一般的な見解」です。スカンジナビア統計統計ジャーナル、26：1（1999）：pp.17-30

— Ryan Simmons

どうもありがとう。これはCRを介してリッジの明確な解釈を与えたときに

（共分散行列の最大固有値）。それでもとの解釈を探して

...

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— ブノワ・サンチェス

この開発で注意リッジ回帰ティホノフ正則からはティホノフ正則こと

なり

リッジ回帰のために。その後、

通常に置き換えられ

。これを負にする唯一の方法は、

を虚数にすること、つまり

倍数にすることです。

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

。じゃあなに？どこに行きたいですか？

i = \sqrt{- 1}

$i=\sqrt{-1}$

— カール

ここで言及されている否定的な尾根： stats.stackexchange.com/questions/328630/… いくつかのリンクあり

— kjetil b halvorsen

これは、負の尾根で起こっていることの幾何学的な図です。

という形式の推定量を検討します損失関数以下は、した2次元の場合に何が起こるかを示すかなり標準的な図です。ゼロラムダはOLSソリューションに対応し、無限ラムダは推定ベータをゼロに縮小します。

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

次に、場合に何が起こるかを考えます。ここで、は最大の特異値です。非常に大きな負のラムダの場合、はもちろんゼロに近くなります。ラムダが近づくと、項は、1つの特異値がゼロに近づきます。この特異値はの最初の主成分に対応するため、極限では、PC1の方向を指す取得しますが、絶対値は無限に増加します。 $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

本当に良いのは、同じ図に同じ方法で描くことができることです。ベータは、円が内側から楕円に接する点によって与えられます。

場合、同様の論理は、OLS推定の反対側にリッジ経路を継続することができ、適用される。ここで円は外部から楕円をタッチ。に限界、ベータはPC2の方向に近づきます（ただし、このスケッチのはるか外側で発生します）。 $\lambda\in(-s^2_\mathrm{min},0]$

の範囲のものであり、エネルギーギャップ：推定ライブは、同一曲線上に存在しません。 $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

更新：コメントで、@ MartinLは、損失は最小値はないが最大値があることを説明しています。そして、この最大値はによって与えられます。これが、円/楕円が接触している同じ幾何学的構造が機能し続ける理由です。私たちは、まだゼロ勾配点を探しています。場合、損失最小値を持っていると、それは次式で与えられ正確に通常のように、ケース。 $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

ただし、場合、損失は最大値も最小値もありません。は鞍点に対応します。これは「エネルギーギャップ」を説明します。 $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

自然に特定の制約付きリッジ回帰から生じる、参照「単位分散」リッジ回帰の上限を推定する際。これは、ケモメトリックスの文献で「連続回帰」として知られているものに関連しています。リンクされたスレッドで私の回答を参照してください。 $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

と全く同じように扱うことができる損失関数ステー同じリッジ推定器がその最小値を与えます：。 $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— アメーバはモニカを復活させると言う
ソース

興味深いグラフをありがとうございます。とき、あなたがグラフ化されている解決策はあるグローバル最大コスト関数のではなく、グローバルな最小値。同様に、場合、グラフ化したポイントはコスト関数の鞍点である必要があります。

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— Martin L

コスト関数では2次項のみを考慮してください。と書くことができますしてみましょう、そしてカッコ内の行列が唯一のマイナス固有値を持っています。ましょう、及びマトリックスは、正と負の固有値の両方を有します。これらの固有値は、ポイントがコスト関数の鞍点、最小値、最大値のいずれであるかに影響します。

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— Martin L

これは非常に役に立ちます。ありがとうございました。回答を更新しました。

— アメーバはモニカを復活させます

ありがとうございました。特に、サドルポイントが保持されるのは、です。、ソリューションはそれ以来、まだ実際にグローバルな最小値である、正定です。したがって、以前のコメントは部分的に正しくありませんでした。

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— Martin L