リッジ回帰における「行列反転の数値的安定性」の明快な説明とオーバーフィットの低減におけるその役割

私は最小二乗回帰問題で正則化を使用できることを理解しています

$$\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right]$$

そして、この問題は次のような閉じた形の解決策を持っています：

$$\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}.$$

2番目の方程式では、正則化はX T Xの対角にを追加するだけであることがわかります。これは、行列反転の数値的安定性を改善するために行われます。$\lambda$$\boldsymbol{X}^T\boldsymbol{X}$

数値の安定性に関する私の現在の「粗末な」理解は、関数がより「数値的に安定」すると、その出力はその入力のノイズの影響をあまり受けなくなるということです。数値安定性の向上というこの概念を、過剰適合の問題をどのように回避/軽減するかという全体像に関連付けるのが困難です。

私はウィキペディアや他のいくつかの大学のウェブサイトを見てみましたが、彼らはなぜこれがそうなのかを深く説明していません。

$Y=X\beta + \epsilon$$X$$(X^TX)^{-1}X^TY$$\beta$$X$

$\lambda$$\hat{w}$$\beta$$\hat{w}$$\beta$$N(0,\frac{1}{\lambda}I)$$\beta$$\beta$$\beta$

$X$$N \approx p$$\hat{\beta}$

編集：私の最初の応答で、関連する論文へのリンクを提供し、急いでそれを削除しました。ここにあります：http : //www.jarad.me/stat615/papers/Ridge_Regression_in_Practice.pdf

数値の安定性とオーバーフィッティングは、ある意味では関連していますが異なる問題です。

古典的なOLS問題：

古典的な最小二乗問題を考えてみましょう：

$$\operatorname*{minimize}(\text{over $\mathbf{b}$}) \quad(\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b})$$

$\hat{\mathbf{b}} = (X'X)^{-1}(X'\mathbf{y})$

$$\lim_{n \rightarrow \infty} \frac{1}{n} X'X \rightarrow \mathrm{E}[\mathbf{x}\mathbf{x}'] \quad \quad \quad \lim_{n \rightarrow \infty} \frac{1}{n} X'\mathbf{y} \rightarrow \mathrm{E}[\mathbf{x}y]$$

$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{x}\mathbf{x}']^{-1}\mathrm{E}[\mathbf{x}y]$$y$$x_1, x_2, \ldots, x_k$

問題？

機械的に、何がうまくいかないのですか？考えられる問題は何ですか？

1. $\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$
2. $X$
   • $\mathrm{E}[\mathbf{x}\mathbf{x}']$
   • $X'X$

$\hat{\mathbf{b}}$$\frac{1}{n}X'X$$\frac{1}{n}X'\mathbf{y}$$\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$

$p_l = 45$$p_r = 5$

$L_2$

今検討してください：

$$\operatorname*{minimize}(\text{over }\mathbf{b})\quad (\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b}) + \lambda\|\boldsymbol{b}\|^2$$

$L_2$$\mathbf{b}$$\mathbf{0}$$\mathbf{b}$

$L_2$$\$50$$L_2$$p_l = p_r = 25$

$L_2$$0$