リッジ回帰で回帰係数

リッジ回帰では、最小化する目的関数は

$$\text{RSS}+\lambda \sum\beta_j^2.$$

ラグランジュ乗数法を使用してこれを最適化できますか？それともまっすぐな差別化ですか？

リッジの問題には2つの定式化があります。最初のものは

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$$

の対象

$$\sum_{j} \beta_j^2 \leq s.$$

この定式化は、回帰係数のサイズ制約を示しています。この制約が意味するものに注意してください。半径原点の周りのボールに係数を強制的に配置します。$\sqrt{s}$

2番目の定式化はまさにあなたの問題です

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$$

これは、Largrange乗数の定式化と見なすことができます。ここでは調整パラメーターであり、この値を大きくすると収縮が大きくなることに注意してください。に関して式を区別し、よく知られているリッジ推定量を取得することができます。$\lambda$$\boldsymbol{\beta}$

$$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$$

と 1対1の対応があるため、2つの定式化は完全に同等です。$s$$\lambda$

それについて少し詳しく説明させてください。理想的な直交の場合、想像してください。これは非常に単純化された非現実的な状況ですが、推定器をもう少し詳しく調べることができますので、ご容赦ください。方程式（1）がどうなるかを考えてください。リッジ推定量は、$\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

$$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$$

直交の場合と同様に、OLS推定量は与えられます。このコンポーネントを見てみると、$\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

$$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$$

この場合、収縮はすべての係数で一定であることに注意してください。これは一般的な場合には当てはまらない可能性があり、実際、行列に縮退がある場合、収縮が大きく異なることを示すことができます。$\mathbf{X}^{\prime} \mathbf{X}$

しかし、制約付き最適化問題に戻りましょう。KKTの理論によって、必要に応じて最適の条件があります

$$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$$

したがって、または（この場合、制約がバインドされていると言います）。場合、ペナルティはなく、通常のOLSの状態に戻ります。次に、制約がバインドされており、2番目の状況にあるとします。（2）の式を使用すると、次のようになります。$\lambda = 0$$\sum \beta_{R,j} ^2 -s = 0$$\lambda = 0$

$$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$$

どこから入手する

$$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$$

以前に請求された1対1の関係。非直交の場合、これを確立するのは難しいと思いますが、結果は関係ありません。

（2）をもう一度見てみると、まだが欠落していることがわかります。最適な値を取得するには、交差検証を使用するか、リッジトレースを調べます。後者の方法では、シーケンスを（0,1）に構築し、推定値がどのように変化するかを調べます。次に、それらを安定させるを選択します。ちなみに、この方法は以下の2番目の参考文献で提案されており、最も古い方法です。$\lambda$$\lambda$$\lambda$

参照資料

Hoerl、Arthur E.、およびRobert W. Kennard。「リッジ回帰：非直交問題のバイアス推定」。Technometrics 12.1（1970）：55-67。

Hoerl、Arthur E.、およびRobert W. Kennard。「リッジ回帰：非直交問題への応用」Technometrics 12.1（1970）：69-82。

私の著書Regression Modeling Strategiesでは、を選択するための効果的なAICの使用について掘り下げています。これは、ペナルティ対数尤度と実効自由度に由来します。後者は、ペナルティ化によって分散がどれだけ減少するかの関数です。これについてのプレゼンテーションはこちらです。R パッケージは、有効なAICを最適化するを検出し、複数のペナルティーパラメーター（たとえば、線形主効果、非線形主効果、線形相互作用効果、および非線形相互作用効果）を許可します。$\lambda$$\hat{\beta}$rmspentrace$\lambda$

分析的にではなく、数値的に行います。私は通常、RMSE対λをプロットします。

図1. RMSEと定数λまたはアルファ。