ねえ、私はリッジ回帰を使用する1つまたは2つの論文を見つけました（バスケットボールのデータ用）。リッジ回帰を実行した場合は常に変数を標準化するように言われましたが、リッジはスケールバリアントであるため、単にこれを行うように言われました（リッジ回帰は実際にはコースの一部ではなかったので、講師はそれをざっと読みました）。
私が読んだこれらの論文は変数を標準化していませんでした。また、クロスバリデーションによってラムダの値が大きくなり（2000〜4000レベル付近）、変数の標準化を行わなかったためだと言われました。
変数を標準化されていないままにしておくと、どのようにラムダ値が高くなりますか？また、一般的に変数を標準化しないとどうなりますか？それは本当にそんなに大したことですか？
どんな助けも大歓迎です。
回答:
リッジ回帰は、係数のサイズにペナルティを課すことにより線形回帰を正則化します。したがって、係数はゼロに向かって、そして互いに向かって縮小されます。しかし、これが発生し、独立変数が同じスケールを持たない場合、縮小は公平ではありません。ペナルティ付きの項はすべての係数の二乗和であるため、スケールの異なる2つの独立変数は、ペナルティ付きの項に対する寄与が異なります。このような種類の問題を回避するために、非常に多くの場合、独立変数は分散1を持つように中央揃えおよびスケーリングされます。
[後で編集してコメントに答える]
ラムダによるペナルティ項は、所定の定数以下の2乗係数の合計に関する2乗損失関数の表現と同じです。つまり、大きいラムダは係数の2乗和に多くのスペースを与え、小さいラムダは小さいスペースを与えます。大きいまたは小さいスペースは、係数の絶対値が大きいまたは小さいことを意味します。
標準化を使用しないことにより、モデルに適合させるには、係数の大きな絶対値が必要になる場合があります。もちろん、モデル内の変数の役割のために、自然に大きな係数値を持つ場合があります。私が述べているのは、この値がスケーリングされていないために人為的に膨らんだ値を持つ可能性があるということです。そのため、スケーリングにより大きな値の係数の必要性も減少します。したがって、ラムダの最適値は通常小さくなり、係数の2乗値の小さい合計に対応します。
4年後ですが、誰かがこれから恩恵を受けることを願っています。...私が理解したように、coeffは独立変数（dy / dx）の単位変更に対するターゲット変数の変更量です。体重と身長の関係を研究しており、体重はKgで測定されていると仮定しましょう。高さにキロメートルを使用すると、ほとんどのデータポイント（人間の高さ）が密接に詰め込まれていることが想像できます。したがって、身長のわずかなわずかな変化に対して、体重の大きな変化があります（身長とともに体重が増加すると仮定します）。dy / dxの比率は非常に大きくなります。一方、高さをミリメートル単位で測定すると、データは高さ属性で広範囲に広がります。単位の高さの変更には、重量の大きな変更はありません。dy/ dxは、ほぼ0に近くなります。