Tikhonov正則化はRidge Regressionと同じですか？

チホノフ正則化とリッジ回帰は、それらが同一であるかのようにしばしば使用される用語です。違いを正確に指定することは可能ですか？

Tikhonov正則化は、リッジ回帰より大きいセットです。これらがどのように異なるかを正確に説明しようとしています。

既知の行列$A$とベクトル$b$、次のようなベクトルを見つけたいと仮定します$\mathbf{x}$。

$A\mathbf{x}=\mathbf{b}$。

標準的なアプローチは、通常の最小二乗線形回帰です。しかし、ない場合$x$を満たす方程式または複数の$x$ない、そのソリューションがユニークではありません問題が悪条件であると言われています。通常の最小二乗は、二乗残差の合計を最小化しようとします。これは、次のようにコンパクトに記述できます。

$\|A\mathbf{x}-\mathbf{b}\|^2$

ここで$\left \| \cdot \right \|$ユークリッドノルムです。溶液表記マトリックス中に、で表される X、次式で与えられます。$\hat{x}$

$\hat{x} = (A^{T}A)^{-1}A^{T}\mathbf{b}$

チホノフ正則化は最小化

$\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$

いくつかの適切に選択されたTikhonov行列。で示される明示的なマトリックス状溶液、Xは、次式で与えられます。$\Gamma$$\hat{x}$

$\hat{x} = (A^{T}A+ \Gamma^{T} \Gamma )^{-1}A^{T}{b}$

正則化の効果は、行列スケールによって変化します。ためΓ = 0これはunregularized最小二乗解に帰着（Aことを提供^T A）^-1が存在します。$\Gamma$$\Gamma = 0$

通常、リッジ回帰では、Tikhonov正則化からの2つの逸脱が説明されています。最初に、Tikhonov行列が単位行列の倍数に置き換えられます

、$\Gamma= \alpha I$

より小さいノルム、すなわちノルムの解を優先します。そして、 Γ T Γはなりα 2 Iにつながります$L_2$$\Gamma^{T} \Gamma$$\alpha^2 I$

$\hat{x} = (A^{T}A+ \alpha^2 I )^{-1}A^{T}{b}$

最後に、リッジ回帰のために、典型的には、と仮定される変数は、その結果、スケーリングさX T Xは、相関行列の形態を有しています。及びX のT Bが相関ベクトルであり、Xの変数およびBにつながります$A$$X^{T}X$$X^{T}b$$x$$b$

$\hat{x} = (X^{T}X+ \alpha^2 I )^{-1}X^{T}{b}$

このフォームラグランジュ乗数で注通常で置き換えられているK、λ、またはいくつかの他のシンボルが、特性を保持λ ≥ $\alpha^2$$k$$\lambda$$\lambda\geq0$

この答えを定式化する際に、私はウィキペディアと伝達関数の重みのリッジ推定から自由に借りることを認めます

カールは、ティホノフ正則化とリッジ回帰の数学的な違いをうまく説明する完全な答えを与えました。ここでの歴史的な議論に触発されて、より一般的なTikhonovフレームワークがどのように役立つかを示す短い例を追加すると便利だと思いました。

まず、コンテキストに関する簡単なメモ。リッジ回帰は統計で発生し、統計と機械学習で正則化が普及しましたが、Tikhonovのアプローチは元々、モデルベースのデータ同化（特に地球物理学）で発生する逆問題によって動機付けられました。以下の簡略化された例は、このカテゴリに属します（古気候復元にはより複雑なバージョンが使用されます）。

---

現在の測定値u [ x 、t = T ]に基づいて、過去の温度を再構築したいと想像してください。我々の単純化したモデルでは、に従ってその温度進化をとるであろう熱式U T = U 、X 、X 1（D）に周期的境界条件を有する U [ X + L 、T ] = U [ X 、T ] Aの簡単な（明示的）$u[x,t=0]$$u[x,t=T]$

$$u_t = u_{xx}$$ $$u[x+L,t] = u[x,t]$$ 有限差分離散モデルへのアプローチリード 数学的には、進化行列 Aは可逆であるため、 u t = A − 1 u t + 1となります。 ただし、数値的には、時間間隔Tが長すぎると問題が発生します。 $$\frac{\Delta\mathbf{u}}{\Delta{t}} = \frac{\mathbf{Lu}}{\Delta{x^2}} \implies \mathbf{u}_{t+1} = \mathbf{Au}_t$$ $\mathbf{A}$ $$\mathbf{u}_t = \mathbf{A^{-1}u}_{t+1}$$ $T$

Tikhonov正則化は、A u tを解くことでこの問題を解決できます。

$$\begin{align} \mathbf{Au}_t &\approx \mathbf{u}_{t+1} \\ \omega\mathbf{Lu}_t &\approx \mathbf{0} \end{align}$$ $\omega^2\ll{1}$$u_{xx}$

以下は、結果の比較です。

$u_0$$u_\mathsf{fwd}$$u_0$$u_\mathsf{inv}$$u_\mathsf{reg}$$u_0$

$\mathbf{u}$$u_t\approx{0}$

---

この例のMatlabコードは次のとおりです（ここでオンラインで実行できます）。

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');