場合の「単位分散」リッジ回帰推定量の制限

に単位平方和（同等に、単位分散）が必要な追加の制約を使用したリッジ回帰を検討してください。必要に応じて、は単位平方和もあると想定できます。 $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

場合、の制限は何ですか？ $\hat{\boldsymbol\beta}_\lambda^*$ $\lambda\to\infty$

以下は、私が真実だと信じている声明です。

場合 $\lambda=0$ 、きちんとした明示的な解決策があります。OLS推定器を取る $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ および制約を満たすように正規化します（ラグランジュ乗数を追加して微分することでこれを見ることができます）：
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
一般的に、解は
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ 場合、閉じた形式のソリューションは表示されません。ソリューションが持つ通常のRR推定と同等であると思われるいくつか私は、閉じた式が表示されていない制約を満たすように正規化しますが、。 $\lambda >0$ $\lambda^*$ $\lambda^*$
場合 $\lambda\to \infty$ 、通常のRR推定
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ 明らかにゼロに収束しますが、その方向 $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ 方向に収束する $\mathbf X^\top \mathbf y$ 、別名最初の部分最小二乗（PLS）コンポーネント。

ステートメント（2）と（3）を合わせて考えると、おそらく $\hat{\boldsymbol\beta}_\lambda^*$ も適切に正規化された $\mathbf X^\top \mathbf y$ に収束すると思いますが、正しいですし、私は自分自身を納得させることができませんでした。

— アメーバはモニカを復活させると言う
ソース

回答:

幾何学的解釈

質問で説明されている推定器は、次の最適化問題に相当するラグランジュ乗数です。

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

幾何学的に見ると、球体と楕円体の交点に触れる最小の楕円体を見つけることができます。 $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

標準リッジ回帰ビューとの比較

幾何学的な観点から見ると、これは、回転楕円体（エラー）と球体（）が接触する点の（標準的なリッジ回帰の）古いビューを変更します。我々はポイントを探し、新しいビューに回転楕円体（エラー）は、曲線（ベータによって制約のノルム触れる）。制約との交差により、1つの球体（左の画像では青）が低次元の図に変化します。 $\|\beta\|^2=t$ $\|X\beta\|^2=1$ $\|X\beta\|=1$

2次元の場合、これは表示が簡単です。

パラメーターを調整する場合、青/赤球の相対的な長さ、またはとの相対的なサイズを変更します（ラグランジュ乗数の理論では、おそらく正式にまさにそのそれぞれについて、この手段が記述の関数としての、あるいは逆に、単調な関数である。しかし、私はあなたが我々が減少したときに残差二乗和が唯一増加することを直感的に見ることができることを想像。） $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

のソリューションは、0と間の行で議論した $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

ソリューションため第一主成分の負荷に（実際にあなたがコメントしたように）です。これは、場合にが最小になるです。これは、円が単一の点で楕円に触れる点です。 $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

この2次元表示では、球体と回転楕円体の交点のエッジは点です。複数の次元では、これらは曲線になります $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

（私はこれらの曲線は楕円になりますが、それらはより複雑にしていることを最初に想像した。あなたは楕円想像球が交差しているなどの一部を楕円錐台のようなものですが、エッジは単純な楕円ではありません） $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

制限について $\lambda \to \infty$

最初に（以前の編集）、すべての解が同じである（そしてそれらがポイント存在する）制限的ながあることを書きました。しかし、これはありません場合 $\lambda_{lim}$ $\beta^*_\infty$

LARSアルゴリズムまたは勾配降下として最適化を検討してください。任意のポイントのためならば我々は変更することができている方向があるペナルティ項よう増加少ないSSRの項より、あなたが最小ではない減少は、。 $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

では、通常のリッジ回帰あなたがのために（すべての方向に）ゼロスロープ持っポイントで。したがって、すべての有限の、解ははなりません（ペナルティを増加させることなく、残差の2乗の合計を減らすために無限小ステップを行うことができるため）。 $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
LASSOの場合、これは同じではありません。ペナルティは（したがって、勾配がゼロの2次関数ではありません）。そのためLASSOには、ペナルティ項（乗算）が残差平方和が減少するよりも大きくなるため、すべての解がゼロになる制限値があります。 $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
拘束された尾根では、通常の尾根回帰と同じ結果が得られます。あなたが変更した場合はから始まる、この変更は次のようになります垂直に（楕円形の表面に対して垂直である）およびは、ペナルティ項を変更せずに残差の2乗和を減少させることなく、微小ステップで変更できます。したがって、任意の有限の、点は解になりません。 $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

制限に関するさらなる注意 $\lambda \to \infty$

無限大への通常のリッジ回帰制限は、制約付きリッジ回帰の異なる点に対応します。この「古い」制限は、が-1に等しいポイントに対応します。次に、正規化された問題のラグランジュ関数の導関数 $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ は、標準問題のラグランジュ関数の導関数の解に対応します。

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

StackExchangeStrikeによって書かれました。

— セクストゥス・エンピリカス
ソース

+1。どうもありがとう、これはとても助かります！私はそれを熟考するのに時間が必要です。

— アメーバは、モニカを復活させる

赤と黒の楕円体が同じ形状をしていることを指摘する価値があります。これが、接触する点が中心を結ぶ線上にある理由です。私の質問のポイント＃1の素晴らしいグラフィカルな証明。

— アメーバは、モニカを復活させる

描画上のどこに、無限のラムダを持つリッジ推定器に対応するベータがあり、黒い楕円上にあるように正規化されているかを理解しようとしています。それはと間のどこかにあると思います（表記法を使用）-図面上で黒い丸でマークされた2つのポイント。したがって、リッジ回帰を実行して解を正規化し、ラムダを0から無限大に増やすと、おそらく同じ円弧に沿って移動しますが、PC1までは移動しません。代わりに、制約を明示的に設定すると、ソリューションはPC1までずっと進みます。

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— アメーバは、モニカを復活させる

+5（私は喜んであなたの答えに報いる賞金を始めました）。また、代数的導出を行ったため、質問に追加するには多すぎるため、自分の回答も投稿しました。私はあなたの結論に確信がません。有限のがあり、その後、解はもはや変わらず、PC1によって与えられるでしょう。私は代数的にそれを見ていないし、なぜそれが存在するべきかについてのあなたの議論をよく理解していない。それを理解してみましょう。

λ_{lim}

$\lambda_\text{lim}$

— アメーバは、モニカを復活させる

@amoeba、あなたは有限のが存在しないことについて正しかった。私はあまりにも直観的に議論しすぎて、通常のリッジ回帰の特定の条件から制約付きリッジ回帰にすばやくジャンプしました。通常のRRは、ポイントに対して（すべての方向に）ゼロの勾配を持ち。（）制約付き回帰ではこれが得られないと思った。ただし、は楕円に制限されているためすべての方向に「移動」することはできません。

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— セクストゥスエンピリカス

これは、@ Martijnの美しい幾何学的な答えの代数的な対応です。

まず、の制限が非常に場合簡単に取得：制限では、損失関数の最初の項は無視できるようになるため、無視できます。最適化の問題は最初の主成分

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ （適切にスケーリング）。これは質問に答えます。

次に、質問のポイント2で参照した値の解決策を考えてみましょう。損失関数にラグランジュ乗数を追加して微分すると、次のようになります。 $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

がゼロから無限に成長するとき、このソリューションはどのように動作しますか？ $\lambda$

場合、OLSソリューションのスケーリングバージョンを取得します： $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
正であるが小さい値の場合、解はいくつかのリッジ推定量のスケーリングされたバージョンです： $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
とき、制約を満たすために必要なの値はです。これは、解が最初のPLSコンポーネントのスケーリングされたバージョンであることを意味します（対応するリッジ推定器のはであることを意味します）： $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
場合より大きくなり、必要に応じて項が負になります。これからの解決策は、負の正則化パラメーター（負のリッジ）を持つ擬似リッジ推定器のスケーリングされたバージョンです。方向に関しては、無限のラムダによるリッジ回帰を過ぎています。 $\lambda$ $(1+\mu)$
とき、用語にゼロ（または発散しに行くでしょう無限大）場合を、はの最大特異値です。これにより、有限になり、最初の主軸比例します。我々は、設定する必要が制約を満足します。したがって、を取得し $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

全体として、この制約付き最小化問題には、次のスペクトルのOLS、RR、PLS、およびPCAの単位分散バージョンが含まれることがわかります。

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

これは、「連続回帰」と呼ばれる不明瞭な（？）ケモメトリックスフレームワークに相当するようです（https://scholar.google.de/scholar?q="continuum+regression "、特にStone＆Brooks 1990、Sundberg 1993、 Björkström＆Sundberg 1999など）は、アドホックな基準を最大化することで同じ統一を可能にしますこれは明らかにスケーリング収率OLS場合、PLS場合、PCA場合、そしてためにスケーリングされたRRをもたらすことを示すことができる

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ 、Sundberg 1993を参照してください。

RR / PLS / PCA /などでかなりの経験がありますが、以前に「連続回帰」について聞いたことがありません。また、私はこの用語が嫌いだと言うべきです。

@Martijnのものに基づいて行った回路図：

更新：負の尾根パスで図が更新されました。@ Martijnの外観の提案に感謝します。詳細については、負のリッジ回帰についての私の答えをご覧ください。

— アメーバはモニカを復活させると言う
ソース

「連続回帰」は、PLSとPCAを共通のフレームワーク内で統合することを目的とした、驚くほど幅広いカテゴリの手法の1つと思われます。偶然にも、ネガティブリッジを研究するまで、私はそれについて聞いたことがありませんでした（あなたがリンクするネガティブリッジの質問の最初のコメントで、Bjorkstron＆Sundberg、1999へのリンクを提供します）。ケモメトリックス文献。他の統計分野とは切り離されているように見える歴史的な理由があるに違いありません。（1/3）

— ライアンシモンズ

読みたい論文の1つはde Jongらです。（2001）。それらの「標準PLS」の定式化は、一見するとあなたのものと同等であるように見えますが、私はまだ数学を厳密に比較していないことを認めます（同じ脈絡で他のいくつかのPLS-PCA一般化のレビューも提供します）。しかし、彼らが問題をどのように説明したかを見るのは洞察に満ちているかもしれません。（2/3）

— ライアンシモンズ

リンクが切れた場合の完全な引用は、Sijmen de Jong、Barry M. Wise、N。Lawrence Rickerです。「標準的な部分最小二乗法と連続パワー回帰。」Journal of Chemometrics、2001; 15：85-100。doi.org/10.1002/... （3/3）

— ライアン・シモンズ

ah、ok、そしておよびは無限大になりますが、それらの比率はです。いずれにしても、負のリッジ回帰パスは、楕円への投影ように、PLSとPCAベクトルの間の（負の）セクターになければなりませんポイントPLSとPCAの間です。（が無限大になるにつれて、無限大に向かう規範は理にかなっているため、パスは右下に続き、最初は負のPLSに接し、最終的にPCAに接します）

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— Sextus Empiricus

それは視覚化に追加されます。現在の3つのRRパスポイント（円と楕円が接触する）が右下に続き、最終的に無限に、円と楕円は、円が楕円に接触するスポットの方向に「タッチ」する必要があります

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— Sextus Empiricus

場合の「単位分散」リッジ回帰推定量の制限

幾何学的解釈

標準リッジ回帰ビューとの比較

制限についてλ→∞λ→∞\lambda \to \infty

制限に関するさらなる注意λ→∞λ→∞\lambda \to \infty

制限について $\lambda \to \infty$

制限に関するさらなる注意 $\lambda \to \infty$