交差検定（CV）に基づく予測間隔

教科書やyoutubeの講義では、ブースティングなどの反復モデルについて多くのことを学びましたが、予測間隔の導出については何も見ませんでした。

クロス検証は次の目的で使用されます。

• モデルの選択：さまざまなモデルを試して、最適なモデルを選択します。ブーストの場合、CVを使用してチューニングパラメーターを選択します。
• モデル評価：選択したモデルのパフォーマンスを推定します

モデル評価にはいくつかのパラメーターが重要です。そのうちの1つは予想される予測エラーです。クロス検証は、本「統計的学習の要素」で詳しく説明されているように、予測誤差の適切な推定値を提供します。

しかし、予測間隔を構築するために予想される予測誤差をどのように使用するのでしょうか？

たとえば、家の価格を予測する場合、200.000€の家に比べて500.000€の家の予測間隔は長くなります。相互検証を使用してこれらの予測間隔を推定するにはどうすればよいですか？

この質問をもう一度読んだ後、私はあなたに次の限界を与えることができます：

サンプルがiidで描画され、分布が固定され、損失がで制限され、少なくとも、 1 - δ E [ E（H ）] ≤ E（H ）+ B $B$$1 - \delta$

ここで、はサンプルサイズであり、は信頼度です。境界は、McDiarmidの不平等によって自明に保持されます。1 - $m$$1-\delta$

E [ E（H ）] E（H $m$は標本サイズ、は一般化誤差、は仮説の検定誤差です。$\mathbb{E}[\mathcal{E}(h)]$$\hat{\mathcal{E}}(h)$

クロス検証エラーやテストエラーのみを報告しないでください。これらは単なる推定値であるため、一般的には意味がありません。

記録のための古い投稿：

あなたの質問を完全に理解したかどうかはわかりませんが、それを突き刺します。

まず、モデル選択の予測間隔をどのように定義するかわかりません。理解できるように、予測間隔はいくつかの分布を仮定しているためです。代わりに、濃度の不等式を導き出すことができます。これは、確率の分散によって本質的に確率変数を制限します。濃度不等式は、ブースティングの高度な理論を含む機械学習を通して使用されます。この場合、一般化エラー（一般にエラー、見たことのないポイント）を経験的エラー（テストセットのエラー）に加えて、複雑性の用語と分散に関連する用語で制限します。

ここで、非常に一般的な相互検証に関する誤解を払拭する必要があります。相互検証では、固定サンプルサイズのモデルの予想される誤差の偏りのない推定のみが提供されます。この証明は、Leave One Outプロトコルでのみ機能します。これは、分散に関する情報を提供しないため、実際にはかなり弱いです。一方、相互検証では、構造的リスク最小化ソリューションに近いモデルが返されます。これは理論的には最適なソリューションです。証明は、付録にあります：http : //www.cns.nyu.edu/~rabadi/resources/scat-150519.pdf

それでは、一般化限界をどのように導出するのでしょうか？（一般化境界は基本的に、特定のモデルの一般化誤差に関する予測区間であることを忘れないでください）。さて、これらの境界はアルゴリズム固有です。残念ながら、機械学習（ブースティングを含む）で一般的に使用されるすべてのアルゴリズムの範囲を定める教科書は1つしかありません。この本は、Mohri、Rostamizadeh、およびTalwalkarによるFoundations of Machine Learning（2012）です。資料をカバーする講義スライドについては、MohriのWebページで見つけることができます：http : //www.cs.nyu.edu/~mohri/ml14/

統計学習の要素は重要でやや役立つ本ですが、あまり厳密ではなく、アルゴリズムに関する多くの非常に重要な技術的詳細を省略し、あらゆる種類の一般化境界を完全に省略します。機械学習の基礎は、機械学習のための最も包括的な本です（この分野の最高の一部によって書かれたように見えるのは理にかなっています）。ただし、教科書は高度であるため、技術的な詳細に注意してください。

ブースティングの一般化は、（証明付きで）ここにあります：http : //www.cs.nyu.edu/~mohri/mls/lecture_6.pdf

これらがあなたの質問に答えるのに十分なポインタであることを願っています。予備的な議論は言うまでもなく、必要な詳細をすべて調べるのに約50ページかかるため、完全な回答をするのをためらいます。

がんばろう！