LASSO / LARS vs一般から特定(GETS)メソッド


15

私は、基本的には段階的な前方選択の単なるバリエーションであり、したがってパス依存性に苦しんでいるにもかかわらず、なぜLASSOおよびLARSモデル選択方法がそんなに人気があるのだろうと思いました。

同様に、モデル選択の一般から特定(GETS)メソッドは、ステップワイズ回帰の問題がないためLARS / LASSOよりも優れているにもかかわらず、ほとんど無視されるのはなぜですか?(GETSの基本リファレンス:http : //www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf-この中で最も新しいアルゴリズムは、パスの依存関係を回避する広範なモデルとツリー検索で始まり、多くの場合、LASSO / LARSよりも優れています)。

奇妙に思えますが、LARS / LASSOはGeneral to Specific(GETS)よりもはるかに多くの露出と引用を得ているようです。

激しい議論を始めようとせず、文献がGETSではなくLASSO / LARSに焦点を当てている理由の合理的な説明を探しており、実際にLASSO / LARSの欠点を指摘している人はほとんどいません。


ここでパスに依存するとはどういう意味ですか?また、GETSに提供できる信頼できるリファレンスはありますか?私はこれに精通していません。
枢機

Lassoについても言及している、より優れた、より「信頼できる」リファレンスを次に示します。degruyter.com / view / j / jtse.2011.3.1 / jtse.2011.3.1.1097 /
トルティーヤ

また、意味することを追加します:したがって、重要なリグレッサを1つずつ追加しますが、このアプローチでは、リグレッサ間の相関に基づいて重要でないリグレッサを削除することはできません。したがって、1つを追加すると、このリグレッサが設定されてドロップできないというパス依存性があります。そうではありませんか?
トルティーヤ

1
係数パスが途中でゼロを横切る場合、変数が投げ縄によって途中でドロップされる可能性があります。あなたはエフロンらに精通しています。LARSのオリジナル記事?幾何学的なフレーバーでこれをかなり詳細に説明しています。
枢機

2
ラッソは、仮説検定の1つからパラメーター推定の1つにモデル選択問題を効果的に再キャストするため、人気があると思います。
確率論的

回答:


2

免責事項:私は、とりわけDavid F. Hendryによるモデル選択に関する研究に少ししか精通していません。しかし、尊敬する同僚からは、ヘンドリーが計量経済学におけるモデル選択の問題に関して非常に興味深い進歩を遂げたことがわかっています。統計文献がモデル選択に関する彼の研究に十分な注意を払っていないかどうかを判断するには、私の側でさらに多くの研究が必要になります。

ただし、1つの方法またはアイデアが他の方法またはアイデアよりもはるかに多くのアクティビティを生成する理由を理解しようとするのは興味深いことです。科学にもファッションの側面があることは間違いありません。私が見るように、なげなわ(および友人)には、非常に簡単に表現できる最適化問題の解決策であるという1つの大きな利点があります。これは、ソリューションと開発された効率的なアルゴリズムの詳細な理論的理解の鍵です。BühlmannとVan De Geerによる最近の著書、Statistics for High-Dimensional Dataは、なげなわについてすでにどれだけ知られているかを示しています。

無限のシミュレーション研究を行うことができ、もちろん、特定のアプリケーションに最も関連性があり適切な方法を適用できますが、統計文献の一部については、かなりの理論的結果も取得する必要があります。投げ縄が多くのアクティビティを生成したことは、実際にアプローチできる理論的な問題があり、興味深い解決策があることを反映しています。

別のポイントは、投げ縄またはバリエーション多くの場合にうまく機能するということです。OPが示唆しているように、投げ縄が他の方法によって非常に簡単にアウトパフォームされるのは正しいと確信しているだけではありません。(人工的な)モデル選択に関しては、予測パフォーマンスに関してではないかもしれません。言及された参考文献のいずれも、Getと投げ縄を実際に比較しているようには見えません。


2

LASSOとLARSのモデル選択方法は、基本的に段階的な前方選択の単なるバリエーションであるにもかかわらず、なぜそんなに人気があるのか

LASSOと(GETS)サブセット選択には違いがあります:LASSOは係数をデータ依存の方法でゼロに縮小しますが、(GETS)サブセット選択は縮小しません。これは、場合によっては失敗する可能性がある場合でも(GETS)サブセット選択よりもLASSOの利点のようです(通常は相互検証によって行われるパラメーター調整が必要であり、調整が不十分な場合もあります)。

(GETS)メソッド<...>はLARS / LASSOよりも優れています

GETSのパフォーマンスは、公平な(?)研究者が行うとLASSOに匹敵する品質と思われます(ただし、必ずしもGETSの新しいバージョンが提案されている論文ではそうではありませんが、それが期待されるものです)。でいくつかの参照を参照してくださいこのスレッドの

おそらく、Hendry&Co氏は、アプリケーションの仕様(主にマクロ経済的な時系列モデリング)のためにGETSを使用して良い結果を得ていますか?しかし、なぜそうなるのでしょうか?これは別の質問です。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.