LASSO（正則化）がどのように機能するかを本当に理解していないと統計学者がどういう意味ですか？

Lasso（正規化）に関する最近のいくつかの統計話に行ったことがありますが、ここで浮かび上がってくるポイントは、なぜLassoが機能するのか、なぜLassoがうまく機能するのかがよくわからないということです。この声明が何を指しているのかと思います。Lassoがパラメーターの縮小による過剰適合を防止することによって技術的に機能する理由は明らかですが、そのようなステートメントの背後に深い意味があるのではないかと思います。誰かアイデアはありますか？ありがとう！

なげなわのような方法の基礎を研究する統計学者と学習理論コミュニティの間のコミュニケーションの欠如が時々あります。投げ縄の理論的な特性は、実際には非常によく理解されています。

このドキュメントのセクション4には、そのプロパティの多くがまとめられています。結果はかなり技術的ですが、基本的には次のとおりです。

• 十分に大きなデータセットについて、いくつかの穏やかな仮定の下で、スパースウェイトベクトルの真のサポート（ゼロ以外のエントリのセット）を高い確率で回復します。
• の列があまり相関していない限り、サンプルサイズが大きくなるにつれて、最適なレートで正しい重みベクトルに収束します。$X$

Lassoが機能する理由を理解することにより、機能選択を実行する理由（つまり、一部の機能の重みを正確に0に設定すること）を理解することを意味する場合、それは非常によく理解されています。

モデル選択の一貫性の記号回復の問題があります（統計学者によって回答されています）。

推論の問題（推定値の信頼区間の構築）がありますが、これは研究のトピックです。

ほとんどの作業は、「学習理論コミュニティ」ではなく統計学者によって行われます。