非フリーランチ定理とK-NNの整合性

計算学習では、NFLの定理は普遍的な学習者は存在しないと述べています。すべての学習アルゴリズムについて、学習者に大きな確率で高い確率で仮説を出力させる分布があります（ただし、低い誤差仮説はあります）。結論は、学習するためには、仮説クラスまたは分布を制限する必要があるということです。彼らの著書「パターン認識の確率論」では、Devroyeらは、K最近傍学習者のために次の定理を証明している： μ  に密度がある

$$\text{Assume } \mu \text{ has a density. if } k\to \infty \text{ and } k/n\to0 \\ \text{ then for every } \epsilon>0, \text{ there's } N, \text{ s.t.} \text{ for all } n>N : \\ P(R_n - R^* > \epsilon)< 2exp(-C_dn \epsilon ^{2})$$ ここで、$R^*$ベイズ最適ルールの誤差であり、 $R_n$ K-NN出力の真の誤差です（確率はサイズ$n$トレーニングセット以上）、$\mu$はインスタンス空間の確率測度$\mathbb{R}^d$および$C_d$ある定数はユークリッド次元にのみ依存します。したがって、分散についての仮定を行うことなく、存在する最良の仮説（一部の制限されたクラスでは最良ではない）にできるだけ近づくことができます。それで、私はこの結果がNFLの定理に矛盾しないことを理解しようとしていますか？ありがとう！

NFLの定理を理解する方法は、すべてのタスクで他のアルゴリズムよりも優れた学習アルゴリズムはないということです。ただし、これは証明があるという明確な数学的な意味での定理ではなく、実証的な観察結果です。

kNNについて述べたのと同様に、ニューラルネットワークのユニバーサル近似定理もあり、2層ニューラルネットワークが与えられれば、任意の関数を任意の誤差で近似できると述べています。

さて、これはどのようにNFLを壊さないのでしょうか？基本的には、考えられる問題は単純な2層NNで解決できると述べています。その理由は、理論的にはNNはあらゆるものを近似できるが、実際には、あらゆるものを近似するように教えることは非常に難しいからです。そのため、一部のタスクでは、他のアルゴリズムが推奨されます。

NFLを解釈するより実用的な方法は次のとおりです。

特定のタスクに最適なアルゴリズムをアプリオリに決定する方法はありません。