LASSOモデルで

11

交差検証を通じてラムダを決定すると、すべての係数がゼロになります。しかし、いくつかの予測因子が結果に確実に影響を与えるはずであるという文献からのヒントがあります。ラムダを任意に選択して、望みどおりのスパース性が得られるようにするのは、ごみですか？

coxモデルの135のうち上位10程度の予測子を選択したいのですが、効果のサイズが小さくなっています。

lasso

— 三浦
ソース

6

データベースではない情報を持っているので、事前に有益な情報を使用する必要があるようです。

— probabilityislogic

深いところは正解だと思いますが、残念ながら、今どこから始めればよいかという統計力にまったく欠けています。

— 三浦2012

1

次の2つのことを混同しているように見えます。（1）文献から特定の予測子を使用するように指示されている場合は、それらをすべてのモデルに含めます。（2）代わりに、文献で言及されている特定の予測子が含まれているかどうかに関係なく、多くの予測子から特定の数を選択する必要があることを示すと、これを再解釈するようです。あなたが実際に達成しようとしていることを明確にできますか？

— whuber

4

p (β_{i}) = \frac{λ}{2} exp (- λ | β_{i} |),

$p(\beta_i)=\frac{\lambda}{2}\text{exp}\left(-\lambda|\beta_i|\right),$

λ

$\lambda$

— ネストル
ソース

3

LASSOを実行する良い方法はありますが、固定数の予測子を使用します。これは、エフロンの論文に記載されている最小角度回帰（LARまたはLARS）です。反復手順では、いくつかの線形モデルが作成されます。新しいモデルごとに1つ以上の予測子があるため、必要な数の予測子を持つ1つを選択できます。

$l_1$ $l_2$

— アレクセイザイツェフ
ソース

3

LARSと投げ縄は密接に関連していますが、固定数の予測子の場合、同じ変数を含めることさえできません。一つは選ぶことができた予測因子の所望の数を与える投げ縄のペナルティ値を、どちらもケース内の選択肢は、一意になります！したがって、OPはまだ問題の一部である明確に定義された手順を提供していません。LARSの場合、特定の数の予測子を生成するペナルティ値が間隔を形成するという優れた利点があるため、エンドポイント（どちらか？）または中点または他の基準を選択する方が簡単です。

— 枢機卿

1

はい、LARSとLASSOが同一でないことは事実ですが、元の記事で著者が提案したLARSの簡単な変更を導入して、LARSベースの手法を使用してLASSOソリューションを取得できます。

— Alexey Zaytsev

はい、アレクセイ、これは本当です。私のコメントは、なぜ最初にLARSに移行したのかを中心に展開していると思います。通常は、必要な数の予測子を生成する投げ縄のペナルティパラメータの値を簡単に選択できます。取り上げられていない主なポイントは、一意の選択を行う方法と、OPの場合に生じる可能性のある結果です。:)

— 枢機卿

2

$\left| S^* \right| = \left| \left\{ j : \beta^*_j \neq 0 \right\} \right|$ $\beta^*$ $|S^*|$ $2^p$ $|S^*|$ ${p \choose |S^*|}$

$\lambda$ $\lambda$ $|S^*|$

$\hat\beta$ $\beta^*$ $\hat{S} = \{j \, : \, \hat\beta_j \neq 0 \}$ $S^* \subseteq \hat{S}$ $\hat{S} \subseteq S^*$ $S^*$

また、たとえば、で投げ縄を実行する場合、一部の係数をペナルティなしにしておくことができますglmnet。

— user795305
ソース