ペナルティ付き線形回帰の幾何学的解釈

線形回帰は「すべての点に垂直に最も近い線」と考えることができることを知っています。

しかし、列係数を「係数行列の列がまたがる空間への投影」として視覚化することで、それを見る別の方法があります。

私の質問は、これら2つの解釈において、リッジ回帰やLASSOなどのペナルティ付き線形回帰を使用すると どうなりますか？最初の解釈の行はどうなりますか？そして、2番目の解釈の投影はどうなりますか？

更新：コメントの@JohnSmithは、係数のスペースでペナルティが発生するという事実を持ち出しました。この空間にも解釈はありますか？

私の絵のスキルがすみません、私はあなたに次の直観を与えようとします。

ましょう目的関数である（例えば、MSE回帰の場合）。レッツは（もちろん私たちはのスペースでそれを描く赤で、この関数の等高線図を想像β簡単にするために、ここで、β 1およびβ 2）。$f(\beta)$$\beta$$\beta_1$$\beta_2$

赤い丸の中央に、この機能の最小値があります。そして、この最小値はペナルティのないソリューションを提供します。

$g(\beta)$$g(\beta) = \lambda (|\beta_1| + |\beta_2|)$$g(\beta) = \lambda (\beta_1^2 + \beta_2^2)$$\lambda$$\lambda$$g(x)$

$f(\beta) + g(\beta)$

ペナルティが大きいほど、「より狭い」青の輪郭が得られ、プロットはゼロに近いポイントで互いに出会います。逆もまた同様です。ペナルティが小さいほど、輪郭が拡大し、青と赤のプロットの交点が赤丸の中心に近づきます（ペナルティのないソリューション）。

$\beta_1 = 0$$\beta_2 = 0$

$0$

パラメーターの空間でペナルティ付き回帰がどのように機能するかについての直感を説明してくれることを願っています。

私が持っている直感は次のとおりです。最小二乗の場合、ハット行列は正射影であるため、べき等です。罰則の場合、帽子行列はthe等ではなくなります。実際、無限に何度も適用すると、係数が原点に縮小されます。一方、係数は依然として予測変数の範囲内にある必要があるため、直交ではありませんが、依然として投影です。ペナルティ要因の大きさとノルムのタイプは、原点に向かう収縮の距離と方向を制御します。