不確定な方程式系にリッジ回帰を適用しますか？

場合、球状制限を課す最小二乗問題の値にのように書くことができる for the overdetermined system。は、ベクトルのユークリッドノルムです。 $y = X\beta + e$ $\delta$ $\beta$

\begin{matrix} \min ‖ y - X β ‖_{2}^{2} \\ s . t . ‖ β ‖_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

の対応する解 $\beta$ は、によって与えられ

\hat{β} = {(X^{T} X + λ I)}^{- 1} X^{T} y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$ これは、ラグランジュ乗数の方法から導出できます（

λ

$\lambda$ は乗数です）：

L (β, λ) = ‖ y - X β ‖_{2}^{2} + λ (‖ β ‖_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

というプロパティがあることを理解しています

{(X^{T} X + λ I)}^{- 1} X^{T} = X^{T} {(X X^{T} + λ I)}^{- 1} .

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$ 右側は、劣決定の場合の回帰行列

の疑似逆行列に似てい

X

$X$ ます（追加の正則化パラメーター

λ

$\lambda$ ）。これは、同じ式を使用して、未決定の場合の

を概算できることを意味し

β

$\beta$ ますか？球制約制約は目的関数（

最小ノルム

β

$\beta$ ）と重複しているため、未決定の場合に対応する式の個別の派生はありますか？

\begin{matrix} m i n . ‖ β ‖_{2} \\ s . t . X β = y . \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— ハットマトリックス
ソース

リッジ回帰問題の定式化から始める

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

あなたは問題を次のように書くことができます

$\min \| A\beta - b \|_{2}^{2}$

どこ

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

そして

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

部分があるため、行列は完全な列ランクを持っています。したがって、ユニークなソリューションとしての最小二乗問題 $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

と観点からこれを書き出し、多くの0を簡略化すると、 $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

この派生には、に行または列があるかどうか、またはにフルランクがあるかどうかに依存するものはありません。したがって、この式は未確定のケースに適用できます。 $X$ $X$

それは、そのための代数的事実である、 $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

したがって、使用するオプションもあります

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ 。

特定の質問に答えるには：

はい、どちらの式も、未確定のケースと、過剰決定のケースで機能します。彼らも仕事場合以下の行と列の数の最小値以上である。その場合、はよりも小さいため、2番目のバージョンは、未確定の問題に対してより効率的です。 $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
他の減衰最小二乗問題から始まり、正規方程式を使用する式の代替バージョンの派生については知りません。いずれの場合も、少しの代数を使用して簡単な方法でそれを導出できます。

リッジ回帰問題を次の形式で考えている可能性があります

$\min \| \beta \|_{2}^{2}$

従う

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

ただし、このバージョンのリッジ回帰問題は、同じ最小二乗問題つながるだけです。 $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— ブライアン・ボーチャーズ
ソース

が完全な行ランクまたは完全な列ランクを持つ場合、は0になるので、制限内で何が発生するかは注目に値します。に完全な列ランクがある場合、制限内では、疑似逆ます。同様に、に完全な行ランクがある場合、制限内で擬似逆ます。したがって、これは予想どおりに機能します。

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— ブライアンボーチャーズ2014年

これは驚くほど包括的な答えであり、拡張配列（および私が見逃した代数）からの導出は非常に満足のいくものです。最後に提示した形の尾根回帰問題については考えていませんでしたが、同じ目的関数につながることは興味深いです。どうもありがとう！

— Hatmatrix 2014年

ありがとう。恥知らずなプラグをここに挿入します。これ（および関連資料の多く）は、Rick AsterとCliff Thurberと共著したパラメーター推定と逆問題に関するテキストに記載されています。

— Brian Borchers、2014年

また、実際にこの行列の逆を計算することは、通常、この式を使用する最良の方法ではないことも付け加えておきます。サイズと可能なスパース性に応じて、反復スキームを使用するか、単純に行列のコレスキー分解を使用する方がはるかに良い場合があります。

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— Brian Borchers、2014年

あなたの提案をありがとう！この資料のtexbookを見つけるのに苦労したので、あなたの本への参照に感謝します。私たちのデータサイズは実際にはそれほど大きくないので（データセットを個別に適用する必要がある場合のみ）、正逆の影響を受けやすいかもしれませんが、追加のポインターに感謝します！

— Hatmatrix 2014年