Occamのかみそりは時代遅れ？

統計学についてのヴァプニクの本を見ました...最初のいくつかの章を読みました。とにかく私を最も驚かせたのは、オッカムのかみそりは時代遅れだと彼が思ったということでした。

私はそれが高い次元を想定するとフィットが大幅に改善される状況に関連していると思いました。

わかりましたか？OccamのかみそりがVapnikが言ったように正しくないことができないのは正しいですか？

Occamのかみそりをデフォルトと見なすべきではないという議論はありますか？

正確な文は、序文から第2版のThe Nature of Statistical Learningにあります。

本の初版からの年月はまた、帰納問題の性質の理解における一般的な哲学を変えました。SVMで多くの実験が成功した後、研究者たちはOccamのかみそりの原理に基づいた一般化の古典的な哲学に対する批判にさらに強くなりました。」

私は誰かがオッカムのかみそりに関する批判について詳しく説明できればいいのにと思います。

あなたが「オッカムのかみそり」であると考えるものに依存します。元の公式は不明確な神学的ジャンボジャンボなので、一連の（しばしば互換性のない）解釈に発展しました。

Vapnikはウルトラナイーブバージョンを批評しますが、パラメータの数が多すぎると過剰適合、つまりRungeのパラドックスのメロディーに影響を与えるため、適合パラメータの数が少ないモデルのほうが良いということは少ないと言います。
「フィッティングの貪欲さ」は数値パラメーターによってではなく、（何らかのヒューリスティックを介して）将来のデータのモデル精度によって制約されるため、機械学習ではもちろん偽です。

しかし、それはMLトレーニングが必要なく複数を導入しているということですか？私は個人的にはノーと言っていますが、主に2番目の部分が原因です。MLモデルは通常、手作業で分解された従来の回帰よりも優れているため、この余分な複雑さが報われます。人間がそれをより単純な理論に還元できるとしても、これはほとんどの場合、追加の仮定の代償を払うため、公正な比較ではありません。