変数係数は上昇し、ラムダが減少するにつれて減少します（LASSO）

LASSO（glmnet）を使用して、60以上の変数（連続およびカテゴリーの両方）で連続予測子を回帰しています。

変数トレースプロットを調べると、対数ラムダが増加すると、主要な変数の1つに実際に増加する係数があることがわかります。その後、ある時点を過ぎると、予想したように減少し始めます。

これがまぐれでないことを確認するために、私はブートストラップを使用して10モデルを実行し、非常に類似した結果を得ました。

これは可能ですか、それともデータに問題がありますか？正当な場合、変数の係数のこの傾向は、変数と応答との関係について何を教えてくれますか？

それは可能であるだけでなく、非常に一般的な出来事です。

ペナルティはことに注意してください。したがって、一部のコンポーネントは、全体のノルムを増加させることなく、他のコンポーネントが減少する限り、大きさが増加する可能性があります。時にはとして増加し、1つ（または少数）の係数（s）は、それ以上フィット用語の欠如に増加率を抑えることができますので、一緒に急速として少なくとも減少他人を犠牲にしてサイズが大きくなることがありそれらをすべて一緒に削減します。$\ \lambda\,||\beta||_1$$\lambda$

何が起こるかをプロットしたいかもしれません 増加。対数$\sum_i |\beta_i|$$\log\lambda$

予測子の間に何らかの相関関係がある場合、この種の動作がよく見られます-一種の置換効果がある可能性があります。

$|\beta_4|+|\beta_{11}|$