リッジ回帰の等価式の証明

15

統計学習で最も人気のある本を読みました

1- 統計学習の要素。

2- 統計学習の紹介。

どちらも、リッジ回帰には同等の2つの式があることに言及しています。この結果を理解できる数学的な証拠はありますか？

Cross Validatedも通過しましたが、そこには明確な証拠が見つかりません。

さらに、LASSOは同じタイプの証明を享受しますか？

— ジーザ
ソース

2

en.wikipedia.org/wiki/…–

— テイラー

1

なげなわは、リッジ回帰の形式ではありません。

— 西安

@jeza、私の答えに欠けているものを説明してもらえますか？それは、接続に関するすべてを引き出すことができることを本当に引き出します。

— ロイ

@jeza、具体的に教えてください。制約付き問題のラグランジアン概念を知らない限り、簡潔な答えを出すのは難しいです。

— -Royi

1

制約付き最適化問題の@jezaは、ラグランジュ関数/ KKT条件の最適化に変換できます（現在の回答で説明されています）。この原則には、インターネット上ですでにさまざまな簡単な説明があります。証拠のさらなる説明はどの方向で必要ですか？ラグランジュ乗数/関数の説明/証明、この問題がラグランジュの方法に関連する最適化のケースである方法の説明/証明、差KKT /ラグランジュ、正則化の原理の説明など？

— セクストゥスエンピリカス

19

古典的なリッジ回帰（Tikhonov正則化）は次のように与えられます：

\arg min_{x} \frac{1}{2} {‖ x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\arg \min_{x} \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

上記の主張は、次の問題が同等であることです。

\begin{aligned} \arg min_{x} & \frac{1}{2} {‖ x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

のは、定義しよう第一の問題との最適解として第二の問題の最適解として。 $\hat{x}$ $\tilde{x}$

その等価手段の項 $\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$ 。
つまり、あなたはいつものペアを持つことができます $t$ と $\lambda \geq 0$ の問題のようなソリューションが同じです。

どのようにしてペアを見つけることができますか？
さて、問題を解決し、ソリューションのプロパティを確認します。
どちらの問題も凸面で滑らかであるため、物事が簡単になるはずです。

最初の問題の解決策は、勾配が消える点で与えられます。

\hat{x} - y + 2 λ \hat{x} = 0

$\hat{x} - y + 2 \lambda \hat{x} = 0$

2番目の問題のKKT条件には次のように記載されています。

\tilde{x} - y + 2 μ \tilde{x} = 0

$\tilde{x} - y + 2 \mu \tilde{x} = 0$

そして

μ ({‖ \tilde{x} ‖}_{2}^{2} - t) = 0

$\mu \left( {\left\| \tilde{x} \right\|}_{2}^{2} - t \right) = 0$

最後の式は、 $\mu = 0$ または ${\left\| \tilde{x} \right\|}_{2}^{2} = t$ 。

2つの基本方程式が同等であることに注意してください。
すなわち、もしおよび両方の式が成り立ちます。 $\hat{x} = \tilde{x}$ $\mu = \lambda$

それは、その場合の意味だから ${\left\| y \right\|}_{2}^{2} \leq t$ 1本のマスト組 $\mu = 0$ のためにどの手段その $t$ 両方一つの必須のセットと等価であるために十分な大きさ $\lambda = 0$ 。

もう一方のケースでは、 $\mu$ を見つける必要があります。

y^{t} {(I + 2 μ I)}^{- 1} {(I + 2 μ I)}^{- 1} y = t

${y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t$

これは基本的に ${\left\| \tilde{x} \right\|}_{2}^{2} = t$

$\mu$ が見つかると、ソリューションが衝突します。

${L}_{1}$ （LASSO）の場合、まあ、それは同じ考え方で動作します。
唯一の違いは、解決のために閉じていないため、接続を導出するのが難しいことです。

StackExchange Cross Validated Q291962およびStackExchange Signal Processing Q21730- Basis Pursuit での $\lambda$ 重要性に関する私の回答をご覧ください。

備考
実際に何が起こっていますか？
どちらの問題でも、 $x$ は $y$ 可能な限り近づけようとします。
最初のケースでは、 $x = y$ は最初の項（ ${L}_{2}$ 距離）を消滅させ、2番目のケースでは目的関数を消滅させます。
違いは、最初のケースでは、そのノルムの制約である壁にぶつかるまで、 ${L}_{2}$ ノルムのバランスを取る必要があることです（ $x$ です。 $\lambda$ 高く、バランス手段を取得し、あなたは確認する必要があり $x$ 小さいです。
2番目の場合、壁があり、 $x$ を近づけます $y$ $t$ ）。
壁が十分に大きく（ $t$ 高い値）、十分に $y$ のノルムに依存する場合、iには意味がありません $\lambda$ がその値に $y$ のノルムを掛けたものだけが意味を持つようになります。
正確な接続は、上記のラグランジアンによるものです。

資源

今日この論文を見つけました（2019年3月4日）：

クラスの疎最適化問題の近似硬さ。

— ロイ
ソース

これは、\ lambdaと\ tが同じであることを意味します。私は証拠でそれを見ることができないからです。ありがとう

— -jeza

@jezaとして、私は、上に書いた

がある

（必ずしも等しくない

しかしの関数

とデータ

t

$t$

λ \geq 0

$\lambda \geq 0$

t

$t$

t

$t$

二つの形式の解が同じである）ようにします。

y

$y$

— -Royi

3

@jeza、ここでは

と

はどちらも本質的に無料のパラメーターです。たとえば

を指定すると、特定の最適なソリューションが得られます。ただし、

は無料のパラメーターのままです。そのため、この時点での主張は、同じ最適解をもたらす

値が存在する可能性があるということです。

がどうあるべきかについて、本質的に制約はありません。

などのように、

固定関数である必要はありません。

λ

$\lambda$

t

$t$

λ

$\lambda$

t

$t$

t

$t$

t

$t$

λ

$\lambda$

t = λ / 2

$t=\lambda/2$

— GUNG -復活モニカ

@ Royi、1-数式に（1/2）があるのに、問題の数式にはないのはなぜですか？2- 2つの式の等価性を示すためにKKTを使用していますか？3-はいの場合、私はまだその等価性を見ることができません。確かではありませんが、私が期待するのは、フォーミュラ1 =フォーミュラ2であることを示す証拠です。

— ジェザ

1. LSの用語を区別すると、簡単になります。あなたは私の形成移動することができ

のOPに

2倍に。2. 2番目のケースでKKTを使用しました。最初のケースには制約がないため、解決することができます。3.それらの間に閉形式の方程式はありません。ロジックと、それらを接続するグラフを作成する方法を示しました。しかし、私が書いたように、それは

ごとに変わります

λ

$\lambda$

λ

$\lambda$

y

$y$ それはます（データに依存します）。

— ロイ

9

何が起こっているのかを理解するための数学的に厳密ではないが、おそらくより直感的なアプローチは、制約バージョン（問題の式3.42）から開始し、「Lagrange Multiplier」（https：//en.wikipedia .org / wiki / Lagrange_multiplierまたはお気に入りの多変数計算テキスト）。計算ではは変数のベクトルですが、この場合は $x$ $x$ は定数であり、は変数ベクトルであることに注意してください。あなたは（離れて余分を投げた後、最初の方程式（3.41）で終わるラグランジュ乗数法適用たら最小化に対して一定であり、無視することができます）。 $\beta$ $-\lambda t$

これはまた、投げ縄やその他の制約に対して機能することを示しています。

— グレッグ・スノー
ソース

8

ラグランジュ双対性と、より広い関係（場合によっては同等）について読むことはおそらく価値があります：

厳しい（つまり不可侵な）制約を受ける最適化
制約に違反した場合の罰則による最適化。

弱い双対性と強い双対性の簡単な紹介

2つの変数の関数があるとします。どんなについてと、我々は持っています： $f(x,y)$ $\hat{x}$ $\hat{y}$

min_{x} f (x, \hat{y}) \leq f (\hat{x}, \hat{y}) \leq max_{y} f (\hat{x}, y)

$\min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

それはいずれかのために保持しているためとそれはまた成り立ちます。 $\hat{x}$ $\hat{y}$

max_{y} min_{x} f (x, y) \leq min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

これは弱い双対性として知られています。特定の状況では、強力な二重性もあります（サドルポイントプロパティとも呼ばれます）。

max_{y} min_{x} f (x, y) = min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) = \min_x \max_y f(x, y)$

強力な双対性が成り立つ場合、双対問題を解くことで主問題も解決します。ある意味、同じ問題です！

制約付きリッジ回帰のラグランジアン

関数を次のように定義します。 $\mathcal{L}$

L (b, λ) = \sum_{i = 1}^{n} (y - x_{i} \cdot b)^{2} + λ (\sum_{j = 1}^{p} b_{j}^{2} - t)

$\mathcal{L}(\mathbf{b}, \lambda) = \sum_{i=1}^n (y - \mathbf{x}_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right)$

ラグランジアンの最小-最大解釈

ハード制約を受けるリッジ回帰問題は次のとおりです。

min_{b} max_{λ \geq 0} L (b, λ)

$\min_\mathbf{b} \max_{\lambda \geq 0} \mathcal{L}(\mathbf{b}, \lambda)$

あなたは選ぶ後にすることを目的、認識し最小限に抑えるために選ばれ、相手が設定されますあなたが選択した場合は無限にように。 $\mathbf{b}$ $\mathbf{b}$ $\lambda$ $\mathbf{b}$ $\sum_{j=1}^p b_j^2 > t$

強い双対性が保持されている場合（ Slaterの条件が満たされているためにここで行われます）、順序を逆にすることで同じ結果が得られます。 $t>0$

max_{λ \geq 0} min_{b} L (b, λ)

$\max_{\lambda \geq 0} \min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$

ここでは、相手が最初に選択します！次に、を選択して目的を最小化します。既に選択がわかっています。（とら部分所与として）あなたのリッジ回帰問題の第2形態に相当します。 $\lambda$ $\mathbf{b}$ $\lambda$ $\min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$ $\lambda$

ご覧のとおり、これはリッジ回帰特有の結果ではありません。それはより広い概念です。

参照資料

（Rockafellarから読んだ博覧会の後にこの投稿を始めました。）

Rockafellar、RT、凸解析

凸最適化に関するStephen Boyd教授のコースの講義7および8を調べることもできます。

— マシュー・ガン
ソース

答えは任意の凸関数に拡張できることに注意してください。

— 81235

6

それらは同等ではありません。

制約付き最小化問題の場合

\begin{matrix} (1) & min_{b} \sum_{i = 1}^{n} (y - x_{i}^{'} \cdot b)^{2} s . t . \sum_{j = 1}^{p} b_{j}^{2} \leq t, b = (b_{1}, . . ., b_{p}) \end{matrix}

$\min_{\mathbf b} \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2\\ s.t. \sum_{j=1}^p b_j^2 \leq t,\;\;\; \mathbf b = (b_1,...,b_p) \tag{1}$

対応するラグランジアンを最小化することにより解きます $\mathbf b$

\begin{matrix} （2） & Λ = \sum_{私 = 1}^{n} （ y - {バツ}_{私}^{'} \cdot b ）^{2} + λ （ \sum_{j = 1}^{p} b_{j}^{2} - t ） \end{matrix}

$\Lambda = \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right) \tag{2}$

ここで、外因的に与えられる結合され、 Karush-クーン・タッカー非負乗数であり、そして 両方のベータベクトルと最小化手順によって最適に決定される所与。 $t$ $\lambda \geq 0$ $\lambda$ $t$

OPの投稿でとeq を比較すると、リッジ推定量は次の解として得られるようです。 $(2)$ $(3.41)$

\begin{matrix} （3） & \underset{b}{分} {Λ + λ t} \end{matrix}

$\min_{\mathbf b}\{\Lambda + \lambda t\} \tag{3}$

であるので関数は、制約付き最小化問題に加え伴わない用語のラグランジュのように見えるが最小化される、確かに二つのアプローチが等価であるように思われます... $(3)$ $\mathbf b$

しかし、これは正しくありません。リッジ回帰では、与えられると、を最小化し。しかし、制約付き最小化問題のレンズでは、仮定課した制約が結合した状態、すなわち、その $\mathbf b$ $\lambda >0$ $\lambda >0$

\sum_{j = 1}^{p} （ b_{j 、 r 私 d g e}^{*} ）^{2} = t

$\sum_{j=1}^p (b^*_{j,ridge})^2 = t$

一般的な制約付き最小化問題では、も許可され、基本的には、特別な場合として基本最小二乗推定器（）およびリッジ推定器（）を含む定式化です。 $\lambda = 0$ $\lambda ^*=0$ $\lambda^* >0$

したがって、2つの定式化は同等ではありません。それでも、Matthew Gunnの投稿は、2つが非常に密接に関連していることを別の非常に直感的な方法で示しています。しかし、二重性は等価ではありません。

— アレコスパパドプロス
ソース

@MartijnWeteringsコメントをありがとう、答えを作り直しました。

— アレコスパパドプロス

@MartijnWeteringsあなたのコメントに書かれた表現は、私が書き直した投稿で書いた表現とまったく同じであるため、混乱を招くものはわかりません。

— アレコスパパドプロス

1

同値は、私には非常に直感的に説明されていた。これは私が念頭に置いていた重複問題だったmath.stackexchange.com/a/336618/466748あなたは二つは等価でないために与えるという議論は、私にだけ二思える、との問題定義（OPの用途は

の代わりに、

、我々は全く同じように追加することができ制約

例除外するために

）。

λ \geq 0

$\lambda \geq 0$

λ > 0

$\lambda > 0$

t < ‖ β^{O L S} ‖_{2}^{2}

$t < \Vert \beta^{OLS} \Vert^2_2$

λ = 0

$\lambda=0$

— セクストゥスエンピリカス

@MartijnWeterings AがBの特殊なケースである場合、AはBと同等ではありえません。そして、リッジ回帰は、一般的な制約付き最小化問題の特別なケースです。最後のコメントで）。

— アレコスパパドプロス

確かに、リッジ回帰よりも一般的な制約付き最小化問題を定義することもできます（リッジ回帰よりも一般的な正則化問題、たとえば負のリッジ回帰を定義することもできます）が、非等価性はその方法によるものです制約された表現からラグランジアン表現への変換によるものではなく、問題を定義します。2つの形式は、リッジ回帰に役立つ制約付きの定式化/定義（非一般）内で同等と見なすことができます。

— セクストゥスエンピリカス