Lassoの前の標準化は本当に必要ですか？

Lasso回帰などの前に変数を標準化する3つの主な理由を読みました。

1）係数の解釈可能性。

2）収縮後の係数推定値の相対的な大きさにより、係数の重要度をランク付けする機能。

3）傍受の必要はありません。

しかし、私は最も重要な点について疑問に思っています。標準化によってモデルのサンプル外の一般化が改善されると考える理由はありますか？また、モデルにインターセプトが必要ないかどうかは気にしません。追加しても問題はありません。

— ジェイス
ソース

明確化：「標準化がオプション（結果が異なる大きさで歪まない特別なケースの1つ）である場合、標準化はサンプル外の一般化を改善しますか？」これは正しいです？

— Drew75

@ Drew75ケースの内訳が好きです。たとえば、結果が「異なる大きさで歪んでいる」ときに役立ちますか、結果が歪んでいないときに役立ちますか、など、最良の答えはさまざまな状況をカバーします。

— ジェイス14

その場合、あなたの質問は投げ縄に関するものではありません（投げ縄の前に一般的な標準化が必要だからです）。より一般的です。おそらく、質問のタイトルと最初の文を変更してください。

— Drew75 14

@ドリュー：それはむしろ質問をすることです：なぜそれが必要なのですか（そうではないのですか？）？結果を歪めるとはどういう意味ですか（何と比較して？）質問は現状のままで良いと思います。

— Scortchi -復活モニカ

@ Drew75私の質問は投げ縄についてです。

— ジェイス

回答:

なげなわ回帰は、各変数に関連付けられた係数のサイズに制約を課します。ただし、この値は各変数の大きさに依存します。したがって、変数を中央に揃えて削減、または標準化する必要があります。

変数の中央揃えの結果は、インターセプトが存在しないことを意味します。ちなみに、これはリッジ回帰にも同様に当てはまります。

別の良い説明はこの投稿です：回帰でデータを中央に揃えて標準化する必要性

— ドリュー75
ソース

これは私の質問に対する答えでも、極端に間接的な答えでもありません。あなたの答えとサンプルの一般化（質問でした）との間のリンクを説明してください。

— ジェイス14

@Jase：リストから省略した標準化の主な理由に対処します：小さい係数の予測子を削除する（または係数の大きさに応じてペナルティ項を使用する）場合は、「小さい」とカウントするものを決定する必要があります「。LASSOまたは他のペナルティ付き回帰法の前に標準化は必須ではありませんが、予測子が測定される元のスケールがこの目的に役立つことはめったにありません。

— Scortchi -復活モニカ

そして、センタリングについてのポイントは、通常、切片をドロップまたは縮小したくないということです。

— Scortchi-モニカの復職

λ

$\lambda$

非常に大まかに言って、全体的にどれだけ縮小するかは、ランダムホールドアウトサンプルの一般化に影響を与えます。各予測変数を他の予測変数と比較してどれだけ縮小するかというややarbitrary意的な決定は、類似した母集団からの新しいサンプルへの一般化に影響を与えます。、＆c。（もちろん、あなたの質問はより完全に考え抜かれた答えに値します。）

— Scortchi-モニカの復職

L1ペナルティパラメーターは、絶対ベータ項の合計です。変数の次元がすべて異なる場合、数学的にはエラーはありませんが、この用語は実際には加法的ではありません。

ただし、この問題に苦しんでいるダミー/カテゴリ変数は見当たらず、標準化する必要はないと思います。これらを標準化すると、変数の解釈可能性が低下する可能性があります

— スミットダール
ソース