事後テストの問題は何ですか？

私の統計学の教授はそう言っています、私が見ているすべての本はそれを述べています：事後検定は非科学的です。最初に理論から仮説を導き出し、次にデータを収集して分析する必要があります。

しかし、私は本当に問題が何であるか理解していません。

さまざまな車の色の売上高を見て、多くのさまざまな色の車が販売されていることから、路上で最も大きな車のグループが白であるという仮説を立てるとします。それで私はある日通りに座って、通り過ぎるすべての車のすべての色に注意します。その後、いくつかのテストを行い、何でも見つけます。

さて、ある日通りに退屈して座っていて、通り過ぎたすべての車のすべての色に気付いたとします。私はグラフが大好きなので、きれいなヒストグラムをプロットすると、白い車が最大のグループを形成していることがわかります。ですから、路上のほとんどの車は白く、いくつかのテストを行っていると思います。

事後検定の結果または結果の解釈は、理論駆動型*仮説検定の結果とどのように、またなぜ異なるのですか？

_{*とにかく、事後テストの反対の名前は何ですか？}

宇宙（地球が太陽の周りを移動する）についての私たちの知識のほとんどは、観測から事後に推測されることを付け加えたいと思います。

物理学では、過去千年にわたって太陽が東に昇ってきたのは偶然ではないと思い込んでも大丈夫だと思います。

「ご存知のように、今夜、最も驚くべきことが起こった。講義の途中でここに来ていた。駐車場を通って入った。何が起こったのか信じられないだろう。プレートARW357。想像できますか？州内の数百万のナンバープレートの中で、今夜その特定のナンバープレートを見る可能性はどれくらいでしたか？驚くべきことです！ " リチャード・ファインマン

私はこの問題の深い技術的側面を説明する立場にないと感じています。しかし、それらの多くは直観に還元できると思います。

最初のセットアップでは、（設計された実験からの）新しいデータで検証するいくつかの仮説から始めます。売上高を調べると、非常に細工された適切に設計された実験に導かれ、そこで答えの強さ（統計的検出力、p値、サンプルサイズなど）を実際に決定できます。

2番目の設定では、最初に答えの強さについて何も決定しないということです。これは1つの問題です。2番目の問題は、テストに使用した同じサンプルから仮説を抽出すると、ランダムパターンが貴重な情報として解釈される可能性が非常に制御不能な方法で増加することです。あなたがすることは、何かに気づき（白い車が非常に多い）、これが重要かどうかを自問することです。ポイントは、そのサンプルで目に見える注目すべき事実のみを選択し、他の仮説を破棄することです。そうすることで、いくつかの仮説に適した条件を作成し、ほとんどのアプリオリ統計検定の仮定を破ります。

このリークについて知らなかったように振る舞うことは科学的ではなく、それが真実ではない場合、それがすべての仮定による実験であると装います。この場合、事後分析を使用して仮説を立て、それをテストするために新しい実験を設計することが科学的です。

最初にデータを収集してから、そのデータに基づいて理論を構築する場合、観測にストーリーを適合させる危険があります。問題は、私たち人間が物語を書くのが非常に得意であることです。別の言い方をすれば、ストーリーが十分に複雑な場合、どのデータもストーリーによって「説明」できます。

このプロセスは素晴らしい逸話を提供します。ただし、現実を説明したり、適切な予測を提供したりする理由はありません。そのためのモデルをセットアップして検証する必要があります。

xkcdは、この現象がスポーツの「解説」に浸透していることに注目しています。

関連するのはパレイドリアの現象です。パターンが存在しない場所を見る。たとえば、以前の火星の衛星画像で見た「顔」を参照してください。

さらに、より多くのデータを収集する場合、観測を「継続」して「説明」するために、これまで以上に奇妙な方法でストーリーを微調整しないように注意する必要があります。

科学は、仮説を形成し（もちろん経験によって動機付けられます）、それらの仮説に基づいて予測を行い、それらをテストすることによって機能します。過去に何かを観察し、この観察結果を理論に一般化することは理にかなっていますが、過去自体を、理論を自動的に検証する一種の遡及的な実験として扱いますか？いいえ、質問全体があなたの理論がどれほどうまく一般化されたかであり、過去に一度働いたかどうかではありませんでした。これが、データが示唆する仮説を検証する理由ですが悪い科学と見なさです。

あなたの教授と他の答えは、事後分析には問題があるということです。ただし、多くの優れた科学は事後分析から得られるということも正しいです。重要な点は、適切に設計された実験が優先されるべきであり、事後分析は注意と、実際の発見による欠落した偽のアーティファクトを防ぐための特別なツールで対処されるべきであるということです。偽発見率に関するウィキペディアの記事、問題に関する洞察を与えるかもしれません。

いくつか例を挙げます。

• 牛の全世界の個体群について生体測定を行うと、牛には2つの鼻孔があると結論付けることができます。それは実際には事後分析ですが、生物学、火山学、歴史のほとんどはこのように構築されています。牛に2つの鼻孔があるという事実を無視しない理由は、それが圧倒的であることを支持する証拠です。
• 所定の牛農場で前年に生まれた子牛のデータを取得します。毎週火曜日の満月の下では、生まれたばかりの子牛の50％以上が雌でした-その国の祝日または冬の火曜日を除きます。そのような日がより多くの雌の子牛を産むという仮説を以前に作成していた場合、仮説検定を行い、その仮説を受け入れる（または拒否する）ことができます。ただし、単なる事後分析であると考えると、偽の現象を拒否するには証拠だけでは不十分です。

パラシュートが逸話として有用であるというすべての証拠を皮肉なことに却下する記事がよく引用されていますが、これは事後分析に基づく特に悪いクラスの証拠です。

そして、Stephan Kolassaの回答で使用されている良い例を使用すると、火星の顔に似たいくつかの暗いスポットはパレイドリアとして拒否されますが、レオナルドダヴィンチによる最後の晩theを細部まで再現することはできませんでした。

命題を裏付ける理論がない場合は、たとえ命題が検証されたとしても、偶然の一致である可能性があり、何も証明されません。たとえば、太陽が昇るときにトイレをし、過去10年間それを行っていることがわかりました。このデータに基づいて、事後分析により、トイレをすることと太陽が昇る間に関係があることがわかりました。一方、存在するのは単なる偶然です。あなたがトイレをしたり、その逆をしたりするため、太陽は昇りません。

人生は偶然に満ちています。理論に裏打ちされた命題は、そのような偶然の一致や疑似関係を排除します。

ここにあなたが役に立つと思うかもしれない直観があります。あなたが退屈して車を数えている場合、あなたはあなたが見るものが何らかのランダムなプロセスの結果であることをまだ覚えていなければなりません。特に、車は異なる色であった可能性があります。

したがって、最も頻繁な色が白であるという仮説を立てる場合、実際にはそうである可能性がありますが、最も頻繁な色は赤である可能性もありますが、その特定の実験では、最も頻繁な色は白でした（常に可能です） ）。

今、ポストホックを行う場合、白が最も頻繁であるかどうかをテストし、データが非常に仮説を示唆していることを考えると、白が最も頻繁であると結論付けることができます...少なくとも、データは決して矛盾しません（事後）仮説。