Lasso / Ridge回帰の標準化と正規化


9

リッジとラッソ回帰の機能を標準化することは一般的な慣行であることを認識していますが、これらの回帰メソッドのzスコア標準化の代わりに(0,1)スケールで機能を正規化する方が実際的でしょうか?

回答:


4

正規化([0,1]で絞る)を適用すると、相対的な変数の重要度が測定されますが、変数のスケールが変更され、すべてのモデルの解釈性が失われます。標準化の利点は、正規化されていないOLS回帰の場合と同じようにモデルを解釈できることです(これは既にここで既に回答されています)。


3
正則化されたモデルは、正規化の有無にかかわらず、非常に異なる動作をします!! 具体的には、機能を正規化しないと、機能ごとにペナルティが異なります。
Haitao Du

1
具体的には、推定ではなく、投げ縄係数の解釈について話していました。推定値が変わることを考えると、モデルの解釈がどのように変わるかを知りたいと思います。
Digio

1
回答でリンクしている質問が、あなたがしている点をサポートしているようには思えません。元の投稿で、機能が標準化されている場合にのみols係数の解釈がlasso係数と一致する理由をより明確にできますか?ありがとうございました!
user795305 2017年

@ベン、あなたは私の答えを誤解しました(たぶん私のせい)。(標準またはしない)どのような状況の下で-私がリンクしては投げ縄で、簡単な回帰(OLSまたはそれ以外)でのモデル係数を同じ方法で解釈されている方法を説明します。(任意のタイプまたはパラメトリック回帰の)正規化を使用すると、元のスケールが失われ、逆変換なしでは係数を解釈できません。標準化により、モデルを通常の方法で解釈します。
Digio

0

正規化は、正規化を行うメソッドにとって非常に重要です。これは、変数のスケールが特定の変数に適用される正則化の程度に影響するためです。

たとえば、1つの変数が非常に大規模、たとえば数百万のオーダーで、別の変数が0〜1であるとします。次に、正規化は最初の変数にほとんど影響を与えないと考えられます。

正規化と同様に、0から1に正規化するか、機能を標準化することはあまり重要ではありません。


1
この答えは明白です。ここで「正規化」とは、[0,1]のすべての値を絞ることを意味し、標準化の単なる別の言葉ではありません。問題は、モデル係数に対する[0,1]と標準化〜N(0,1)の正規化の影響についてです。
Digio

[0,1]に正規化するとはどういう意味ですか?それを達成するには多くの方法があります。ペナルティ付き回帰の推奨は正確に何ですか?
Cagdas Ozgenc 2017年

1
質問は「(0,1)スケールでフィーチャを正規化する」と述べているため、フィーチャの再スケーリング がより良い用語かもしれませんが、相対的な変数の重要度を表す係数推定値を生成する一般的な手法です(RFの純度尺度と同様)。はい、これを達成するには多くの方法があり、それはペナルティ付き回帰に固有のものではありませんが、この質問はLassoに対する機能の再スケーリング(標準化ではない)の影響についてです。
Digio

「0から1に正規化するか、機能を標準化することはあまり重要ではない」とはどういう意味ですか?どんな意味でそれはあまり重要ではありませんか?この主張についての直感や参考資料を教えていただけますか?
user795305 2017年
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.