「ダブル投げ縄」を行うか、投げ縄を2回実行する利点

元々の変数セット（S1など）で投げ縄を実行し、S2という名前のスパースセットを取得してから、セットS2で再度投げ縄を実行してセットS3を取得する、投げ縄を2回使用する方法（ダブル投げ縄など）を聞いたことがあります。これに方法論的な用語はありますか？また、投げ縄を2回行う利点は何ですか？

はい、あなたが求めている（または考えている）手順はリラックスした投げ縄と呼ばれます。

一般的な考え方は、初めてLASSOを実行するプロセスに、おそらく「ノイズ変数」を含めることです。（最初のLASSOの後に）2番目の変数セットでLASSOを実行すると、「ノイズ」変数だけでなく、モデルの一部である「実際の競合他社」である変数間の競合が少なくなります。技術的には、この方法の目的は、多数の変数を含むデータセット内のLASSOの（既知の）遅い収束を克服することです。

Meinshausen（2007）によるオリジナルの論文でそれについてもっと読むことができます。

LASSOを使用して変数選択を実行する他の非常に興味深い方法の概要を示す、統計学習の要素に関するセクション3.8.5 （Hastie、Tibshirani＆Friedman、2008年）もお勧めします。

アイデアは、投げ縄の2つの効果を分離することです

1. $\beta$
2. $\beta$

$p >\!\!> n$

リラックスした投げ縄の考え方は、2つの効果を分離することです。最初のパスで高いペナルティを使用して変数を選択します。2回目のパスでペナルティを小さくして、それらをより小さく縮小します。

元の論文（Néstorによってリンクされている）に詳細が記載されています。