線形回帰では、なぜ正則化によってパラメーター値もペナルティになるのですか？

現在、リッジ回帰を学習しており、より複雑なモデルのペナルティ化（またはより複雑なモデルの定義）について少し混乱しました。

私が理解していることから、モデルの複雑度は必ずしも多項式次数と相関しているわけではありません。つまり、

2 + 3 + 4 x^{2} + 5 x^{3} + 6 x^{4}

$2 + 3+ 4x^2 + 5x^3 + 6x^4$ は、

よりも複雑なモデルです。

5 x^{5}

$5x^5$

そして、正則化のポイントはモデルの複雑さを低く保つことであることを知っています。たとえば、5次多項式

f (x; w) = w_{0} + w_{1} x + w_{2} x^{2} + w_{3} x^{3} + w_{4} x^{4} + w_{5} x^{5}

$f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5$

0であるパラメーターが多いほど良いです。

しかし、私が理解していないのは、それが同じ次数の多項式である場合、より低いパラメーター値のペナルティが少なくなるのはなぜですか？だからなぜでしょう：

2 + 5 x + x^{3}

$2 + 5x + x^3$

433 + 342 x + 323 x^{3}

$433+ 342x + 323x^3$

ありがとうございました！

regression regularization hyperparameter

— Physco111
ソース

パラメータ値は単にデータに依存するだけです

これはあなたの質問の重要な部分です。これは混乱するところです。

はい、パラメータ値はデータに依存します。しかし、モデルに適合させるとデータは固定されます。言い換えると、観測を条件とするモデルを適合させます。異なるデータセットに適合された異なるモデルの複雑さを比較することは意味がありません。

そして、固定データセットのコンテキストでは、モデル

2 + 5 x + x^{3}

$2 + 5x + x^3$

実際、最も単純なモデル、つまりフラットゼロモデルに近いです。

433 + 342 x + 323 x^{3},

$433+ 342x + 323x^3,$

これは、観測の規模に関係なく成立します。

$2$ $433$ $2$ $433$

— ステファン・コラサ
ソース

低い等級係数は、高い係数よりも平坦なゼロから遠く離れていますか？それはタイプミスですか、それとも、定数から離れたモデルが定数に近いモデルほどペナルティを課されないのか、私は誤解していますか？

— RM

すみません、それは確かにタイプミスでした。編集させてください。これを指摘してくれてありがとう！

— Stephan Kolassa、