自由度と入力行列を指定してリッジ回帰の正則化パラメーターを計算する方法は？

A を独立変数の行列とし、Bを対応する従属値のn × 1行列とします。リッジ回帰では、パラメータ定義λを：だからβは= （A T A + λ I ）- 1 A T B。ここで、[usv] = svd（A）およびd i = i t h 's'の対角エントリとしましょう。自由度を定義します（df）= ∑ n i = 1（d i）$n \times p$$n \times 1$$\lambda$$\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$$d_{i}=i^{th}$。リッジ回帰は低分散成分の係数を縮小するため、パラメーターλは自由度を制御します。したがって、正規回帰の場合であるλ=0の場合、df = nであり、すべての独立変数が考慮されます。私が直面している問題は、「df」と行列「s」を指定して、λの値を見つけることです。私は上記の方程式を整理し直そうとしましたが、閉じた形の解決策を得ていませんでした。役立つポインタを提供してください。$\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$$\lambda$$\lambda=0$$\lambda$

Newton-Raphson / Fisher-scoring / Taylor-seriesアルゴリズムがこれに適しています。

あなたのために解決する方程式有するH （λ ）= P Σ iは= 1 、D 2 $\lambda$ 誘導体と ∂

$$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$$ 次その後、取得： H（λ）≈H（λ（0））+（λ-λ（0））∂ $$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$$ $$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$$

以下のために再配置あなたが得る： λ = λ （0 ） - [ ∂ $\lambda$

$$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$$ $d^{2}_{i}=1$$\lambda^{(0)}=\frac{p-df}{df}$

$$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$$

$\lambda$$\lambda$

以下は、probabilityislogicによって証明された式に基づく小さなMatlabコードです。

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end