L2正則化とランダム効果の縮小

変量効果回帰の基本的な特性は、ランダムな切片の推定値が、各推定値の相対分散の関数としての応答の全体的な平均に向かって「縮小」されることです。

ρJ=τ2/（τ2+σ2/NJ）

これは、ロジスティック回帰などの一般化線形混合モデル（GLMM）にも当てはまります。

その収縮は、ID変数のワンホットエンコーディングによる固定効果ロジスティック回帰よりも、またはL2正則化による収縮よりどのように優れていますか？

固定効果モデルでは、L2正規化のペナルティ変更することで収縮量を制御できますが、変量効果モデルでは、収縮量を制御できません。「目標が推論である場合は変量効果モデルを使用し、目標が予測である場合は固定効果モデルを使用する」というのは正しいでしょうか？$\lambda$

これは少し単純化されすぎています。混合効果回帰の収縮は、変量効果構造の「クラス」/「グループ」間の全体的なバランスによって重み付けされるので、選択することができないということではなく、グループのサイズと強度が証拠が選択します。（加重総平均のようなものと考えてください）。さらに、混合効果モデルは、複数のグループがあり、各グループのデータが非常に少ない場合に非常に役立ちます。全体的な構造と部分的なプーリングにより、各グループ内でもより良い推論が可能になります。

混合モデルのLASSO（L1正規化）、尾根（L2正規化）、およびエラスティックネット（L1とL2の正規化の組み合わせ）バリアントもあります。つまり、これらは直交しています。ベイジアンの用語では、階層/マルチレベルモデル構造による混合効果の縮小と、モデル係数の分布の事前選択からの正則化が得られます。

おそらく混乱は、「機械学習」（予測が目標）での正則化の頻繁な使用から生じますが、「統計」（推論が目標）での混合効果の頻繁な使用から生じますが、それは他の副作用です。このような領域の一般的なデータセットの側面（サイズなど）と計算上の問題。混合効果モデルは一般に適合が難しいため、データの一部の構造を無視する正則化固定効果モデルが必要な予測に十分適している場合は、混合効果モデルを適合させる価値がない場合があります。しかし、データを推論する必要がある場合、その構造を無視するのは悪い考えです。