交差検証を使用する場合の1つの標準エラールールの経験的正当化

par約を支持する1つの標準エラールールの使用を正当化する実証研究はありますか？明らかに、データのデータ生成プロセスに依存しますが、データセットの大規模なコーパスを分析するものは非常に興味深い読み物です。

「1つの標準エラールール」は、相互検証（またはより一般的にはランダム化ベースの手順）を通じてモデルを選択するときに適用されます。

場合、がよりも「より複雑」であるように、複雑さパラメーターによってインデックス付けされたモデルを考慮すると仮定します。さらに、クロス検証などのランダム化プロセスによってモデル品質を評価するとします。してみましょうの「平均」の品質表す例えば、多くのクロスバリデーションの実行間の平均のアウトバッグ予測誤差を。この量を最小限に抑えたい。$M_\tau$$\tau\in\mathbb{R}$$M_\tau$$M_{\tau'}$$\tau>\tau'$$M$$q(M)$$M$

ただし、品質尺度はランダム化手順に基づいているため、ばらつきがあります。ましょ品質の標準誤差を表すランダム実行横切って、例えば、のアウトオブバッグ予測誤差の標準偏差クロスバリデーション実行オーバー。$s(M)$$M$$M$

次に、モデルを選択します。ここで、は次のような最小のです。$M_\tau$$\tau$$\tau$

ここで、は（平均して）最良のモデルインデックスを付けます。$\tau'$$q(M_{\tau'})=\min_\tau q(M_\tau)$

つまり、ランダム化手順の中で、最良のモデルM _ {\ tau '}よりも1つの標準誤差だけ悪い、最も単純なモデル（最小の $\tau$）を選択します。$M_{\tau'}$

この「1つの標準エラールール」が次の場所で参照されていることを発見しましたが、明示的に正当化することはありません。

• Breiman、Friedman、Stone＆Olshenによる分類および回帰木の 80ページ（1984年）
• Tibshirani、Walther＆Hastieによるギャップ統計によるデータセット内のクラスター数の推定のページ415 （JRSS B、2001）（Breiman et al。を参照）
• Hastie、Tibshirani、Friedmanによる統計学習の要素のページ61および244 （2009）
• Hastie、Tibshirani、Wainwrightによる統計的学習のスパース性のページ13 （2015）

以下は経験的な研究ではありません。だから私はもともとコメントではなく答えとして投稿したかったのですが、実際にはコメントするには長すぎます。

Cawley＆Talbot（J of Machine Learning Research、2010）は、モデル選択フェーズでのオーバーフィットとモデルフィッティングフェーズでのオーバーフィットの違いに注目しています。

2番目の種類の過剰適合は、ほとんどの人がよく知っているものです。特定のモデルが与えられた場合、過剰適合、つまり、通常持っている単一のデータセットの特定の特異性にあまり適合させたくありません。（これは、分散の大きな減少に対してバイアスの小さな増加をトレードすることにより、収縮/正則化が役立つ場合がある場所です。）

ただし、Cawley＆Talbotは、モデルの選択段階でも同様にオーバーフィットできると主張しています。結局のところ、通常はまだ1つのデータセットしかなく、さまざまな複雑さの異なるモデルを決定しています。候補モデルを選択するために各候補モデルを評価するには、通常、そのモデルを適合させる必要があります。これは、正則化を使用するかどうかを使用して実行できます。ただし、この評価自体もランダム変数です。これは、特定のデータセットに依存しているためです。そのため、「最適な」モデルの選択は、それ自体でバイアスを示し、母集団から引き出した可能性のあるすべてのデータセットの特定のデータセットに応じて分散を示します。

したがって、Cawley＆Talbotは、この評価で最高のパフォーマンスを発揮するモデルを選択するだけで、バイアスが小さい選択ルールになる可能性が高いと主張していますが、大きな分散を示す可能性があります。つまり、同じデータ生成プロセス（DGP）からの異なるトレーニングデータセットが与えられた場合、このルールは非常に異なるモデルを選択し、同じDGPに続く新しいデータセットの予測に適合および使用されます。この観点から、モデル選択手順の分散を制限するが、より単純なモデルへの小さな偏りが生じると、サンプルからの誤差が小さくなる可能性があります。

Cawley＆Talbotは、これを1つの標準エラールールに明示的に関連付けておらず、「モデル選択の正規化」に関するセクションは非常に短いです。ただし、1つの標準エラールールはこの正則化を正確に実行し、モデル選択の分散とout-of-bag相互検証エラーの分散の関係を考慮します。

たとえば、以下はHastie、Tibshirani＆Wainwright（2015）による統計的学習とスパース性の図2.3 です。モデル選択の分散は、最小の黒い線の凸性によって与えられます。ここでは、最小値はそれほど顕著ではなく、線はやや弱く凸であるため、モデルの選択はおそらく分散が高く不確かです。また、OOB CV誤差推定値の分散は、標準誤差を示す複数の水色の線で示されています。

経験的な正当化については、これらのTibshiraniデータマイニングコースノートの 12ページを参照してください。特定のモデリング問題のCVエラーをラムダの関数として示しています。提案は、ある値以下では、すべてのラムダがほぼ同じCVエラーを与えると思われます。これは、リッジ回帰とは異なり、LASSOは通常、予測精度を向上させるためだけに使用されることはなく、主に使用されることもないためです。その主なセールスポイントは、最も関連性の低い/価値のある予測子を排除することにより、モデルをよりシンプルで解釈しやすくすることです。

ここで、1つの標準エラー規則を理解するために、さまざまなから得られるモデルのファミリーについて考えてみましょう。Tibshiraniの図は、予測精度がほぼ同じである中から高複雑度モデルの束と、予測が得意でない低複雑度モデルの束があることを示しています。何を選ぶべきですか？を使用している場合は、おそらく節約的なモデルに興味があるので、アインシュタインを言い換えると、データを合理的に説明する最も単純なモデルを好むでしょう。それでは、これらすべての高複雑度モデルと「ほぼ同じ」最低複雑度モデルについてはどうでしょうか。そして、「ほぼ同じくらい」を測定する良い方法は何ですか？1つの標準エラー。$\lambda$$L_1$

Lasso推定器によって選択される変数の数は、ペナルティ値によって決定されます。大きいほど、選択された変数のセットは小さくなります。してみましょう ペナルティとして使用して、選択した変数のセットで。 $\lambda$$\lambda$$\hat S(\lambda)$$\lambda$

してみましょうクロスバリデーション関数の最小値を使用して選択ペナルティこと。であることが証明できます。ここで、は実際には0以外の変数のセットです（真の変数のセットは、ペナルティとしてクロス検証の最小値を使用して推定されたセットに厳密に含まれています）。$\lambda^ \star$$P(S_0 \subset \hat S(\lambda^\star))\rightarrow 1$$S_0$

これは、Bühlmannとvan de Geerによる高次元データの統計で報告されるべきです。

ペナルティ値は、多くの場合、相互検証によって選択されます。これは、高い確率で選択される変数が多すぎることを意味します。選択した変数の数を減らすために、1つの標準エラールールを使用してペナルティを少し増やします。$\lambda$