投げ縄の最適なペナルティ選択

ペナルティ項の係数の最適な選択に関する分析結果または実験論文はありますか。することで、最適な、私は最適なモデルを選択する確率、またはその最小化予想損失を最大化するパラメータを意味します。問題のインスタンスの数が多いため、または手元の問題のサイズのために、相互検証またはブートストラップによってパラメーターを選択することは非現実的であることが多いためです。私が知っている唯一の肯定的な結果は、 and Plan、最小化によるほぼ理想的なモデル選択です。$\ell_1$$\ell_1$

このBickelらのチェックアウト定理5.1 。エラーに関して統計的に最適な選択は\ lambda = A \ sigma _ {\ text {noise}} \ sqrt {\ dfrac {\ log p } {n}}（確率が高い）、定数A> 2 \ sqrt {2}の場合。$\|y-\hat{y}(\lambda)\|_2^2$$\lambda = A \sigma_{\text{noise}} \sqrt{\dfrac{\log p}{n}}$$A > 2\sqrt{2}$

私は、他のアプリケーションあなたは、ほとんどの論文のように、回帰に興味があることそれを取る、そしてない -penalty（グラフィカル投げ縄を、言って）。$\ell_1$

それから、ゾウらによる投げ縄の「自由度」に関する論文にいくつかの答えが見つかると信じています。簡単に言えば、有効な自由度の分析式を提供します。これにより、二乗誤差損失のために、CVを分析的なタイプの統計で置き換えることができます。$C_p$

注目すべきもう1つの場所は、ダンツィッヒセレクターです。pがnよりはるかに大きい場合の統計的推定と、Annals of Statisticsの同じ号のディスカッションペーパーです。私の理解では、それらは投げ縄回帰に密接に関連する問題を解決するが、ペナルティ係数の固定された選択である。ただし、ディスカッションペーパーもご覧ください。

予測に興味がなく、モデルの選択に興味がある場合、同様の結果を知りません。予測最適モデルでは、多くの場合、回帰モデルで選択される変数が多すぎます。論文では、安定性の選択 MeinshausenとBühlmannが、モデルの選択に役立つサブサンプリング手法を紹介していますが、ニーズに対しては計算量が多すぎるかもしれません。

この質問が出されて以来、興味深い進展がありました。たとえば、この論文を検討してください

Chichignoud、M.、Lederer、J。、およびWainwright、M。（2016）。最適な保証で投げ縄を調整するための実用的なスキームと高速アルゴリズム。Journal of Machine Learning Research、17、1–17。

彼らは、モデル選択のための証明可能な有限サンプル保証を備えたLASSOチューニングパラメーターを選択する方法を提案しています。彼らが論文で述べているように、「クロスキャリブレーションの標準キャリブレーションスキームについては、文献では同等の保証はありません。実際、標準キャリブレーションスキームの有限サンプル保証については認識していません」。

これはあなたの質問には答えませんが、大規模なデータ設定では、クロスバリデーションで10回程度（またはブートストラップ用に）行うのではなく、単一のトレイン/テストスプリットを使用してレギュライザーを調整するのが良いかもしれません。devsetに選択したサンプルのサイズと代表性により、最適なレギュラーの推定の精度が決まります。

私の経験では、保持された損失は、かなりのレギュラー範囲にわたって比較的フラットです。この事実は他の問題には当てはまらないと思います。