制約付き対ペナルティ付きとしてのリッジ回帰の定式化：それらはどのように同等ですか？

私はさまざまな場所で見た線形回帰法についての主張を誤解しているようです。問題のパラメーターは次のとおりです。

入力：

$N$それぞれ「応答」量と 「予測」量から構成される量のデータサンプル$p+1$$y_i$$p$$x_{ij}$

望ましい結果は「良好な線形適合」であり、これは予測子に基づいて応答を予測し、良好な適合は予測と観測された応答（他の基準の中で）との間にわずかな違いがあります。

出力：係数 whereは、予測変数から応答量を予測するための「適切な適合」です。 $p+1$$\beta_j$$\beta_0 + \sum_{j=1}^p x_{ij} * \beta_j$

この問題に対する "リッジ回帰"アプローチについて混乱しています。Hastie、Tibshirani、およびFriedmanの63ページの「Elements of Statistical Learning」では、リッジ回帰が2つの方法で定式化されています。

まず、制約付き最適化問題として：

P Σ J = 1 β 2 I ≤

$${argmin}_\beta \sum_{i=1}^N { ( y_i - (\beta_0 + \sum_{j=1}^p (x_{ij} * \beta_j)) )^2 }$$ 制約を受ける いくつかの正のパラメータt。 $$\sum_{j=1}^p \beta_i^2 \leq t$$

2つ目は、ペナルティ付きの最適化問題です： 、いくつかの正のパラメータです。

$${argmin}_\beta ( \lambda \sum_{j=1}^p { \beta_j^2 } ) + \sum_{i=1}^N { ( y_i - (\beta_0 + \sum_{j=1}^p (x_{ij} * \beta_j)) )^2 }$$ $\lambda$

テキストは、これらの定式化は同等であり、「パラメーターと間には1対1の対応がある」と述べています。私はこの主張（および同様の主張）をこの本に加えていくつかの場所で見ました。私はそれを理解しているので、配合がどのように同等であるかを見ていないので、私は何かが足りないと思います。$\lambda$$t$

および、、および、の場合を考えます。パラメータ選択する と、制約付き定式化は次のようになります。、P = 1 、Y 1 = 0 、X 1 、1 = 0 、Y 2 = 1 、X 1 、2 = 1 T = $N=2$$p=1$$y_1=0$$x_{1,1}=0$$y_2=1$$x_{1,2}=1$$t=2$

$${argmin}_{\beta_0,\beta_1} ( \beta_0^2 + (1 - (\beta_0 + \beta_1))^2 )$$

に拡大

$${argmin}_{\beta_0,\beta_1} ( 2 \beta_{0}^{2} + 2 \beta_{0} \beta_{1} - 2 \beta_{0} + \beta_{1}^{2} - 2 \beta_{1} + 1 )$$

これを解決するには、とに関する偏導関数 がゼロで ある解を見つけます 、ソリューションはおよびです。必要に応じて、注意してください。β 1 4 β 0 + 2 β 1 - 2 = 0 2 β 0 + 2 β 1 - 2 = 0 β 0 = 0 β 1 = 1 β 2 0 + β 2 1 ≤ $\beta_0$$\beta_1$

$$4 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $$2 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $\beta_0 = 0$$\beta_1 = 1$$\beta_0^2 + \beta_1^2 \le t$

この導出は他の公式とどのように関連していますか？説明によると、に一意に対応する値があり、問題のペナルティ付きの定式化を最適化すると、同じとます。この場合、ペナルティ付きの形式は に拡張 これを解くには、に関してT β 0 β 1 A R G M I N β 0、β 1（λ （β 2 0 + β 2 1）+ β 2 0 + （1 - （β 0 + β 1））2）A R G M I N β 0、β 1（β 2 $\lambda$$t$$\beta_0$$\beta_1$

$${argmin}_{\beta_0,\beta_1} ( \lambda (\beta_0^2 + \beta_1^2) + \beta_0^2 + (1 - (\beta_0 + \beta_1))^2 )$$ β 0 β 1 2 β 0 λ + 4 β 0 + 2 β 1 - 2 = 0 2 β 0 + 2 β 1 λ $${argmin}_{\beta_0,\beta_1} ( \beta_{0}^{2} \lambda + 2 \beta_{0}^{2} + 2 \beta_{0} \beta_{1} - 2 \beta_{0} + \beta_{1}^{2} \lambda + \beta_{1}^{2} - 2 \beta_{1} + 1 )$$ $\beta_0$と はゼロです： これらの方程式では、解 これが正しい場合、を取得する唯一の方法は、を設定することです。ただし、これは必要なと同じなので、「1対1の対応」とはどういう意味ですか？$\beta_1$ $$2 \beta_{0} \lambda + 4 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $$2 \beta_{0} + 2 \beta_{1} \lambda + 2 \beta_{1} - 2 = 0$$ $$\beta_0 = \lambda/(\lambda^2 + 3\lambda + 1)$$ $$\beta_1 = (\lambda + 1)/((\lambda + 1)(\lambda + 2) - 1)$$ $\beta_0 = 0$$\lambda = 0$$\lambda$$t = 4$

要約すると、私は2つのプレゼンテーションに完全に混乱しており、それらがどのように互いに対応しているのか理解できません。1つのフォームを最適化して他のフォームに対して同じソリューションを取得する方法、またはがどのように関連するかを理解できません。これは、この種の対応の1つの例にすぎません。なげなわなどの他のアプローチには他にもありますが、それらのどれも理解できません。$\lambda$$t$

誰か助けてください。

ここでの混乱は、回帰に制約がないまたは値の範囲で作業しようとすることから生じます。$t$$\lambda$

あなたの例では、回帰直線の完全な適合で、回帰係数の二乗の合計は1です。したがって、（または1以上の任意の値）の値は、回帰に制約を課しません。値の空間では、制約なしの回帰全体が表され。非制約回帰では、と間に1対1の対応はありません。この場合、1以上ののすべての値は対応し。それはあなたが調査してきた地域でした。$t=2$$t$$\lambda$$\lambda = 0$$t$$\lambda$ $t$$\lambda=0$

1より小さい値のみが、正の値に対応する回帰に制約を課します。このページへの受け入れられた回答が示すように、値が1未満の例では、と間の1対1の対応は「制約が拘束されている場合」を保持します。$t$$\lambda$$t$$\lambda$$t$

古典的なリッジ回帰（Tikhonov正則化）は、

$$\arg \min_{x} \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$$

上記の主張は、次の問題は同等であるということです：

$$\begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$$

を最初の問題の最適解として定義し、を2番目の問題の最適解として定義しましょう。$\hat{x}$$\tilde{x}$

同等の主張は、であることを意味します。 つまり、とペアを常に持つことができるので、問題の解決策は同じです。$\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$
$t$$\lambda \geq 0$

どのようにしてペアを見つけることができますか？
さて、問題を解決し、ソリューションの特性を見ることによって。
どちらの問題も凸状で滑らかなので、物事がより簡単になります。

最初の問題の解決策は、勾配が消えるポイントで与えられます。つまり、

$$\hat{x} - y + 2 \lambda \hat{x} = 0$$

2番目の問題のKKT条件は次のように述べています。

$$\tilde{x} - y + 2 \mu \tilde{x} = 0$$

そして

$$\mu \left( {\left\| \tilde{x} \right\|}_{2}^{2} - t \right) = 0$$

最後の方程式は、またはいずれかであることを示唆しています 。$\mu = 0$${\left\| \tilde{x} \right\|}_{2}^{2} = t$

2つの基本方程式は同等であることに注意してください。
つまり、および、両方の方程式が成立します。 $\hat{x} = \tilde{x}$$\mu = \lambda$

つまり、 1つはを設定する必要があります。つまり、が十分に大きいため、両方が等価になるためには設定する必要があり。${\left\| y \right\|}_{2}^{2} \leq t$$\mu = 0$$t$$\lambda = 0$

もう1つのケースでは、を見つけます。$\mu$

$${y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t$$

これは基本的に${\left\| \tilde{x} \right\|}_{2}^{2} = t$

が見つかったら、解は衝突します。$\mu$

の場合、よく、それは同じ考えで動作します。 唯一の違いは、解決のためにクローズしていないため、接続を導出するのが難しいことです。${L}_{1}$

StackExchange Cross Validated Q291962とStackExchange Signal Processing Q21730- Basis Pursuit における重要性$\lambda$で私の答えを見てください。