予測は統計学者の能力を判断するための「黄金の基準」ですか？

先週末、R（初版）でFarawayの教科書の線形モデルを読んでいました。Farawayには「統計戦略とモデルの不確実性」という章がありました。彼は非常に複雑なモデルを使用して人為的にいくつかのデータを生成したと述べ（158ページ）、学生にデータをモデル化し、学生の予測結果と読み取り結果を比較するように依頼しました。残念ながら、ほとんどの学生はテストデータを過剰に適合させ、予測値を完全に外れました。この現象を説明するために、彼は私に非常に印象的な何かを書きました：

「モデルが非常に異なっていた理由は、生徒がさまざまな方法を異なる順序で適用したためです。一部は変換前に変数選択を行い、他は逆になりました。ことを使用し、学生のいくつかと、明らかに間違って何も見つけることができなかった、彼らが行っていたものとします。一人の学生は、計算にミスを犯した彼または彼女は、予測値が、残りの部分では、明らかに間違って何もありませんでした。この割り当てのパフォーマンスが表示されませんでした試験におけるそれとの関係。 」

モデルの予測精度は、最高のモデル性能を選択するための「黄金の基準」であると教育を受けました。誤解しない限り、これはKaggleコンテストで使用される一般的な方法でもあります。しかし、ここでFarawayは、モデルの予測パフォーマンスには何の関係もないという、異なる性質のものを観察しました。関係する統計学者の能力を使って。つまり、予測力の観点から最適なモデルを構築できるかどうかは、実際の経験によって決定されるわけではありません。代わりに、それは巨大な「モデルの不確実性」（盲目的な運？）によって決定されます。私の質問は、これは実生活のデータ分析でも同様ですか？または、非常に基本的なものと混同されましたか？これが真実なら、実際のデータ分析への影響は計り知れないからです。データの背後にある「実際のモデル」を知らなくても、経験豊富な/経験のない統計学者によって行われた作業に本質的な違いはありません：利用可能なトレーニングデータ。

これについて、私の学部の教授に尋ねました。彼は率直に言って、それについて全く驚いていないと言った。彼はこれを見るために次の方法を提案しました：Farawayが行ったことは一度だけの実験であり、結果が最終グレードと相関関係を持たないように見えることは驚くことではありません。しかし、Farawayが同じ学生グループで「実験」を100回繰り返した場合、彼は、信頼区間と同様に、統計をより良く学習した学生のパフォーマンスが良好であることを確信しています。したがって、彼の意見では経験は重要であるが、モデルの不確実性のために社会実験がそれを示すことができなかったのは一度だけである。

学生のモデルはほとんどすべて適合していました。n個のデータポイントを使用すると、n-1次の完全な多項式を常に近似できます。このようなモデルは期限切れであるため、ランダムエラーは発生しません。学生たちは似たようなオーバーフィッティングのエラーを犯したようですが、おそらく機能が異なります。

オーバーフィッティングは、学生のみが行うべきエラーです。そしてこれは、経験と教育がモデリングに必要な資格であることを示唆しています。