No Free Lunch（NFL）の定理は述べています（David H. WolpertとWilliam G. Macreadyによる論文Coevolutionary Free Lunchesを参照）
考えられるすべての問題でパフォーマンスが平均化されている場合、任意の2つのアルゴリズムは同等です。
「無料ランチなし」の定理は本当に本当ですか？実際にはどういう意味ですか？このアサーションを示す（MLコンテキストでの）良い例がいいでしょう。
動作が非常に悪いアルゴリズムをいくつか見たことがありますが、実際には上記の定理に従っているとは信じにくいため、この定理の私の解釈が正しいかどうかを理解しようとしています。それとも、Cybenkoの万能近似定理のような別の装飾定理ですか？
回答:
これは、No Free Lunch定理（NFL）に最初に遭遇した後の本当に一般的な反応です。機械学習用のものは、MLコミュニティで議論されているすべてのものに直面するため、特に直感的ではありません。そうは言っても、定理は真実ですが、それが何を意味するのかは議論の余地があります。
知らない人のために定理を言い換えると、機械学習のNFL定理は、ローカル検索と最適化のためのNFL定理の特別なケースです。ローカル検索バージョンの方が理解しやすいです。定理は次のように、やや過激な主張をします：
平均すべての可能な最適化問題、平均解の品質は、あなたが使用することを選択した任意のローカル検索アルゴリズムによって発見され、正確にただ空間から一様にランダムにサンプリングすることによって、可能な解決策を生成することを地元の「検索」アルゴリズムの平均ソリューションの品質と同じすべてのソリューションの。
別の定式化では、人々がさらに強い反応を望んでいる場合、問題の最善の解決策を見つけたい場合、解決策を反復的に悪化させていると思われることを試すことは、問題を解決することと同じくらい良いことです。ソリューションを反復的に改善しているようです。平均して、これらのアプローチはどちらも同等に優れています。
では、なぜこれが本当なのでしょうか。さて、鍵は詳細にあります。ウォルパートは定理をヒュームの帰納問題に関する研究の特殊化と表現することがある。帰納法の問題の基本的なステートメントは、次のとおりです。私たちは未来が過去のようになると仮定するための論理的な根拠はありません。論理的には、物理法則がすべて明日を根本的に変えることができなかったという理由はありません。純粋に論理的な観点から見ると、未来が過去とはさまざまな点で異なる可能性があることはまったく理にかなっています。ヒュームの問題は、一般的に未来は多くの点で過去のようであるということです。彼はこれがそうである必要があるという哲学的な（論理的な）議論を定式化しようとしましたが、基本的に失敗しました。
No Free Lunchの定理でも同じことが言えます。検索スペースがどのように見えるかわからない場合、優れたソリューションがどのように見えるかについて過去に行った観察（つまり、データ）、それからそれはあなたが行う操作がそれが痛いということであるのと同じくらいありそうです。そのため、「考えられるすべての最適化問題の平均」の部分が重要です。後の山登りが良い戦略であるあらゆる最適化問題について移動、k番目の山登り移動がひどい解決策につながることを除いて、同じものを作ることができます。実際の証明はそれよりも微妙ですが、それが基本的な考え方です。
非常に簡単な一般的な要約は次のようになります。
機械学習アルゴリズムは、別の種類の問題でより良く機能させることによってのみ、ある種の問題でよりよく機能するようにすることができます。
では、これは実際にはどういう意味ですか？それはあなたのアルゴリズムが特定の問題に効果的であると考えるためのいくつかの先験的な理由を持つ必要があることを意味します。正当な理由が正確にどのようなものであるかは、MLコミュニティ内で活発な議論の対象となっています。これは、バイアスと分散のトレードオフと非常に密接に関連しています。
一般的な応答は次のとおりです。
とにかく、特定のサブドメインでは、一部のアルゴリズムが他のアルゴリズムよりも優れていることは明白です（これは経験的に確認できます）。NFLは、そこでより良くなるためには、どこかでもっと悪くなる必要があると私たちに話します。議論が必要なのは、「どこか別の場所」が本当の問題なのか、純粋に人工的な問題なのかです。
<し>て見せるための残念な選択だったと思います。ジョンの意図に近づくことができるように、それらを切り替えました。