回帰におけるデータのセンタリングと標準化の必要性

いくつかの正則化を伴う線形回帰を考えてみましょう：例えばを最小化するを見つけます$x$$||Ax - b||^2+\lambda||x||_1$

通常、Aの列は平均と単位ノルムがゼロになるように標準化され、は平均がゼロになるように中央揃えされます。標準化とセンタリングの理由についての私の理解が正しいかどうかを確認したいと思います。$b$

と列の平均をゼロにすることにより、切片項はもう必要ありません。そうでなければ、目的はます。Aの列のノルムを1にすることにより、Aの1つの列が非常に高いノルムを持っているために係数が低くなり、その列が誤って結論付けられる可能性を排除します。 Aはxをうまく「説明」しません。$A$$b$$||Ax-x_01-b||^2+\lambda||x||_1$$x$$x$

この推論は厳密ではありませんが、直感的には正しいと思いますか？

$A$とbの列の平均をゼロにすることは正しい$b$です。

ただし、Aの列のノルムの調整$A$については、ノルムのAから始めてxの$A$すべての要素がほぼ同じ大きさだった場合にどうなるかを考えてください。次に、1列に、たとえば10 ^ {-6}を掛けます。xの対応する要素は、正規化されていない回帰では、10 ^ 6の係数で増加します。正則化用語がどうなるか見てみましょう。正則化は、すべての実用的な目的のために、その1つの係数にのみ適用されます。 $x$$10^{-6}$$x$$10^6$

の列を標準化することにより、直感的に記述して、すべてを同じスケールにします。その結果、の要素の大きさの違いは、説明関数（）の「ウィグリグリネス」に直接関係します。これは、大まかに言って、正規化が制御しようとするものです。それなしでは、例えば、0.1対10.0の係数値は、についての知識がない場合、どの係数が「ウィグリグリネス」に最も寄与していたかを教えてくれません。（ような線形関数の場合、 "wiggliness"は0からの偏差に関連しています。）$A$$x$$Ax$$A$$Ax$$Ax$

説明に戻りますが、 1つの列のノルムが非常に高く、何らかの理由で係数が低い場合、の列がうまく「説明」していないと結論付けません。 はを「説明」しません。 $A$$x$$A$$x$$A$$x$