と正規化のバイアスと分散のプロパティ

線形回帰でから正規化に移行する場合、バイアスまたは分散の増加が予想されますか？バイアスはフィッティング不足の兆候であり、分散はフィッティング過剰の兆候であることに注意してください。定数λを想定します。$L^2$$L^1$

ここで大まかな目安を探しています。それがなく、答えが私が説明していない他のいくつかの要因に依存する場合は、説明してください。

分散が増加します。L1正則化の問題は、一部の係数が非常に予測できないことです。答えは、あなたの正則化（値）がどれほど厳しいかに依存します。私は、異なる種のガウスノイズの正弦波を生成し、下のように何が観察されることであるとして値をL1ノルムが低い分散を有する値がL2ノルムが低い分散を有して増加します。$\lambda$$\lambda$$\lambda$

画像からわかるように、アルファは正則化係数です。でリッジ偏差が急激に低下アルファが増加するにつれて、我々は、Rigde回帰係数間の大きな差を見るが、対応します。ただし、、投げ縄と尾根の両方の分散は低くなります。したがって、アルファが減少するにつれて、尾根の分散は劇的に増加します。$\alpha = 1e-15$$\alpha = 10$

PS：私はこのセットアップを何度も試しましたが、傾向は一貫しています。
したがって、質問に答えると、L1レギュラライザからL2レギュラライザに切り替えると分散が増加します（増加のスケールは値に依存します）。$\lambda$

また、私はの内積追加した切り抜いたかを確認するためにvector.justを。対角線のエントリは-veであり、これは間に大きな差異があることを示しています。これは、さらに詳細な分析でさらに拡張されます。$W$$w$$Ws$