予測モデル：統計はおそらく機械学習に勝るものはありませんか？[閉まっている]

私は現在、統計学/計量経済学に焦点を当てたマスタープログラムをフォローしています。私のマスターでは、すべての学生が3か月の研究をしなければなりませんでした。先週、すべてのグループは研究を他のマスター学生に提示しなければなりませんでした。

ほとんどすべてのグループが、研究トピックの統計モデリングと機械学習モデリングを行い、サンプル外れの予測が行われるたびに、単純な機械学習モデルが、最後の3年間非常に懸命に取り組んだ非常に洗練された統計モデルを打ち負かしましたヶ月。みんなの統計モデルがどれほど優れていても、単純なランダムフォレストでは、ほとんど常にサンプル外エラーが少なくなりました。

これが一般に受け入れられている観測かどうか疑問に思っていましたか？サンプル外予測に関しては、単純なランダムフォレストまたは極端な勾配ブースティングモデルに勝つ方法はないということです。これらの2つの方法は、Rパッケージを使用して実装するのが非常に簡単ですが、誰もが思いついたすべての統計モデルには、かなりのスキル、知識、および見積もりの​​労力が必要です。

これについてどう思いますか？あなたが解釈を得る統計/計量経済学モデルの唯一の利点はありますか？または、単純なランダムフォレストの予測を大幅に上回るパフォーマンスを達成できなかったほど、モデルが不十分でしたか？この問題に対処する論文はありますか？

統計モデリングは機械学習とは異なります。たとえば、線形回帰は統計モデルと機械学習モデルの両方です。したがって、線形回帰をランダムフォレストと比較すると、単純な機械学習モデルをより複雑なモデルと比較することになります。統計モデルと機械学習モデルを比較しているわけではありません。

統計モデリングは、解釈以上のものを提供します。実際には、母集団パラメーターのモデルを提供します。数学と理論の大規模なフレームワークに依存しており、係数の分散、予測の分散、仮説検定などの式を可能にします。統計モデルの潜在的な歩留まりは機械学習よりもはるかに大きくなります。ホールドアウトのエラーを測定するだけでなく、母集団パラメーターについて強力なステートメントを作成できるためですが、統計モデルで問題にアプローチすることはかなり困難です。

質問をあなたの言葉通りに述べるのは間違っています。たとえば、機械学習のかなりの部分を統計学習と呼ぶことができます。だから、あなたの比較はリンゴ対フルーツタルトのようなものです。

しかし、私はあなたがそれを組み立てた方法で行き、次のことを主張します：予測は本質的にランダム性（不確実性）を含んでいるので、何らかの形の統計なしでは何もできません。これを考慮してください。一部のアプリケーションでは機械学習が大成功を収めていますが、資産価格の予測で誇示するものはまったくありません。何もありません。どうして？なぜなら、ほとんどの発展した液体市場では、資産価格は本質的に確率論的だからです。

機械学習を1日中実行して、原子の放射性崩壊を観察および学習できます。次の原子の崩壊時間をランダムに予測することはできません。

意欲的な統計学者として、機械学習を習得しないのはあなたにとって愚かなことです。それは、もちろん学界に行くことを確実に知っていない限り、統計学の最もホットなアプリケーションの1つだからです。業界で仕事をする可能性が高い人は、MLをマスターする必要があります。統計とMLクラウドの間には敵意や競合はまったくありません。実際、プログラミングが好きなら、MLフィールドでくつろいでいるでしょう。

一般的にはそうではありませんが、仕様が間違っていれば可能です。探している問題は許容性と呼ばれます。決定は、それを計算するそれほど危険な方法がなければ許容されます。

すべてのベイジアン解は許容され、非ベイジアン解は、すべてのサンプルのベイジアン解と一致するか、限界に達する限り許容されます。許容可能なフリークエンティストまたはベイジアンソリューションは、許容できない限り常にMLソリューションに勝ちます。そうは言っても、この声明を真実だが空虚なものにする実用的な意見がいくつかあります。

まず、ベイジアンオプションの事前分布は、実際の事前分布でなければならず、雑誌の編集者を喜ばせるために使用される事前分布ではありません。第二に、多くのフリークエンティストのソリューションは許容できないため、標準ソリューションの代わりに収縮推定量を使用する必要がありました。多くの人々は、Steinの補題と、サンプルエラーからの影響を認識していません。最後に、MLは、多くの場合、仕様の誤りに対して少し堅牢になります。

デシジョンツリーに移動して、それらのフォレストがフォレストになっている場合、ベイズネットに似たものも使用していない限り、同様の方法論を使用していません。グラフソリューションには、特に有向グラフなどの暗黙的な情報が大量に含まれています。確率的プロセスまたは統計的プロセスに情報を追加するたびに、結果のばらつきを減らし、許容されると考えられるものを変更します。

関数の構成の観点から機械学習を見ると、統計的解決策になりますが、近似を使用して解決策を扱いやすくします。ベイジアンソリューションの場合、MCMCは、多くのML問題の勾配降下と同様に、信じられないほどの時間を節約します。統合するために正確な後部を構築するか、多くのML問題に対してブルートフォースを使用する必要がある場合、答えが得られる前に太陽系は熱死します。

私の推測では、統計または不適切な統計を使用しているモデルのモデルが誤って指定されています。私は、適切に包まれないと新生児が窓から浮かび上がることを証明し、ベイジアン法は多項選択でフリークエンシスト法よりも抜本的に優れていたため、予想ではフリークエント法は破綻し、ベイジアン法は参加者のお金を倍増させたという講義を行いました。今は前者の統計を悪用し、後者のフリークエンティスト推定量の許容できないことを利用しましたが、統計の素朴なユーザーは私がしたことを簡単に行うことができました。例を明確にするために極端にしただけですが、絶対に実際のデータを使用しました。

ランダムフォレストは一貫した推定量であり、特定のベイジアンプロセスに似ているようです。カーネル推定器とのリンケージのため、それらは非常に近い可能性があります。ソリューションタイプ間でパフォーマンスに重大な違いが見られる場合、根本的な問題に誤解があるものがあり、問題が重要な場合は、違いの原因を探す必要があります。すべてのモデルが誤って指定されている場合。

機械学習の多くは、少なくともいくつかの目的のために、Pハッキングとそれほど変わらないかもしれません。

可能なすべてのモデルをテストして、履歴データに基づいて最高の予測精度（履歴予測またはグループ外予測）を持つモデルを見つける場合、これは必ずしも結果が何が起こっているかを理解するのに役立つことを意味するわけではありません。ただし、仮説に役立つ可能性のある関係を見つける可能性があります。

特定の仮説の動機付けを行い、統計的手法を使用してそれらをテストすることも、確かに同様にPハッキング（または類似）できます。

しかし、ポイントは、基準が「履歴データに基づいた最高の予測精度」である場合、実際にそれらの履歴結果を駆動した理由が分からずに、理解できないモデルに自信過剰になるリスクが高いことです/またはそれらが将来の参考になるかどうか。