正確な汎化エラーを与えたオラクルにアクセスできた場合、モデル選択の問題はありますか？

仮説が与えられた関数がその固定汎化誤差を返すとしましょう。$\mathcal{E(h)}$$h$$h$

私はモデルの選択と一般化エラーに関するいくつかのメモを読んでいて、それは言った：

「にアクセスできれば、モデル選択の問題も発生しません。ラージ選択して 、エラーを最小限に抑える分類器を見つけるだけです。」$\mathcal{E(h)}$$\mathcal{H}$

その声明を十分に理解または理解したのか、それとも実際に声明に同意したのかはわかりませんでした。その理由は、たとえアクセスできたとしても（これは、を取り、その真の汎化エラーを言うオラクルを意味すると思います）、よく一般化する仮説があります。その理由は、モデルクラスが無限であることです（つまり、選択できるモデルのセットが無限にある）。すべてのをチェックしない限り、がいつ最小値に達したかは実際にはわかりません$\mathcal{E(h)}$$h$$\mathcal{H}$$\mathcal{E(h)}$$\mathcal{H}$それは可能です。つまり、たとえそのようなことがあったとしても、（多項式時間で）本当に本当に最高のを本当に見つけたと確信できるので、問題はそれほど簡単に解消されないと思いますか？基本的に私は、一般化が最小になる時期を決定するためのオラクルがあることを前提としています。さらに、指摘したように、提案されたアルゴリズム/ターニングマシンは決定可能であり、Pではありません（つまり、永久に実行される可能性があります...）。$\mathcal{H}$

私がこの質問で抱えている主な問題/疑問は、そのようなOracleを使用しても、モデルの選択が単純化されているとは思えないことです。

基本的に、この質問は、一般化が最小になる時期を決定するためのオラクルがあることを前提としています。

もちろん、これは素晴らしいことです。最高のモデルを提供するオラクルを持つことはさらに良いでしょう。しかし、あなたは神託の機能を誤解しているようです。

モデル選択のタスクは、特定のセットから最適なモデルを選択することです。これを行うには、汎化のパフォーマンスが最高であると考えられるモデルを選択します。神託がなければ私たちに伝えるために私たちが代わりに汎化性能を評価することを余儀なくされている、と言うことができますE（時間）。$\mathcal{E}(h)$$\hat{\mathcal{E}}(h)$

推定された汎化性能に基づいてモデルを選択する必要があるため、適切なモデルを選択する保証はありません。これが、モデルの選択を難しくしている（そしていくぶん恣意的な）理由です。真の汎化パフォーマンスにアクセスできれば、モデルの選択は簡単です。

$\mathcal{H}$

これは良い理論的な質問ですが、通常は有限のオプションセット内で最良のモデルを選択することを望むので、実際の問題にいくらか接します。

真に無限のモデルのセットが、さらに仮定を行わずに決定不可能な問題をもたらすことは間違いありません。ただし、実際には、さらにいくつかの仮定が妥当です。

$\mathcal{E}(h)$