4
リッジ回帰:値に向けて正則化
従来のリッジ回帰推定は β^ridge=(XTX+λI)−1XTYβ^ridge=(XTX+λI)−1XTY \hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} X^T Y これは、ペナルティ項を追加することで得られます。λ||β||22λ||β||22\lambda ||\beta||^2_2 私は特定の価値に向けて正則化することに関する文献を見つけるのに苦労してきました。特に、ペナルティの形式を使用するリッジ回帰モデルを調べました。ここで、は、繰り返し再重み付けされた最小二乗の設定での初期推定です。次に、リッジ回帰推定はλ||β−B||22λ||β−B||22\lambda ||\beta-B||^2_2BBBββ\beta β^ridge=(XTX+λI)−1(XTY+λB).β^ridge=(XTX+λI)−1(XTY+λB). \hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} (X^T Y + \lambda B). ラムダパラメータも非常に大きく()選択されているため、推定値がに収束しようとしているように見えます。λ=100000λ=100000\lambda=100000BBB なぜ値に向けて正則化するのですか?これはの解釈を変えますか?ββ\beta コメントや引用は大歓迎です。ありがとう!