非公式/視覚的な「複数比較」に複数比較の修正は必要ですか？

多重比較の修正がいつ必要かについて、一種の哲学的な質問があります。

連続した時間変化信号を（離散時間点で）測定しています。個別のイベントが時々発生し、これらのイベントが測定された信号に大きな影響を与えるかどうかを確認したいと思います。

したがって、イベントに続く平均信号を取得でき、通常、特定のピークでいくつかの効果を確認できます。そのピークの時間を選択し、t検定でイベントが発生していない場合と有意であるかを判断する場合、多重比較補正を行う必要がありますか？

私はこれまで1つのt検定（計算された1の値）しか実行しませんでしたが、最初の目視検査で、プロットした（たとえば）15の異なるポスト遅延時間ポイントから最大の潜在的効果を持つものを選択しました。では、これまでに実行したことがない15のテストに対して、複数の比較修正を行う必要がありますか？

目視検査を使用せずに、各イベントラグでテストを実行して最も高いものを選択した場合、間違いなく修正する必要があります。テスト自体以外の基準（たとえば、視覚的な選択、最高の平均など）によって「最良の遅延」の選択が行われるかどうかについて、私は少し混乱しています。

技術的には、テストを行う場所を事前に視覚的に選択する場合は、すでにそれを修正する必要があります。目と脳はすでにデータの一部の不確実性を迂回しており、その時点で単にテストを実行する場合は考慮しません。 。

あなたの「ピーク」が本当にプラトーであり、「ピーク」の差を手で選び、それに対してテストを実行すると想像してみてください。テストを少し左または右に実行すると、結果が変わる可能性があります。このようにして、事前選択のプロセスを説明する必要があります。あなたが述べる確実性はかなりありません！あなたはしている使用して選択を行うためのデータを、あなたが効果的に二回、同じ情報を使用しています。

もちろん、実際には、厳選プロセスのようなものを説明することは非常に困難ですが、それは、あなたがすべきでないことを意味するわけではありません（または、少なくとも得られた信頼区間/粒子の細かいテスト結果を取る/述べる）。

結論：複数の比較を行う場合は、それらの比較の選択方法に関係なく、常に複数の比較を修正する必要があります。データが表示される前に選択されなかった場合は、さらに修正する必要があります。

注：手動による事前選択を修正する代わりに（たとえば、実際に不可能である場合）は、おそらく結果に手動による選択への参照が含まれるように結果を示すことです。しかし、それは「再現可能な研究」ではないと思います。

ずっと前に、私の最初の統計学のクラスの1つで、私はこれについてテキストで読んでいました（これはコーエンの再帰に関する本の古い版だったと思います）、「これは合理的な人々がどのように異なるかについての質問です」と書いてありました。

誰もが複数の比較を修正する必要があることも、修正する場合は、どの期間または一連の比較を修正する必要があるかについても明確ではありません。各記事？各回帰または分散分析？彼らが主題について発表するすべて？他の人が公開するものはどうですか？

最初の行に書いているように、それは哲学的です。

現実について1回限りの決定を行おうとしていて、帰無仮説を誤って棄却する率を制御したい場合は、帰無仮説有意性検定（NHST）を使用し、複数の比較に修正を使用することになります。しかし、ピーターフロムが彼の回答で指摘しているように、修正を適用する比較のセットを定義する方法は不明です。最も簡単な選択は、特定のデータセットに適用される比較のセットであり、これが最も一般的なアプローチです。

ただし、科学はおそらく、1回限りの決定が不要であり、実際には証拠蓄積の効率を下げる（取得した証拠を1ビットの情報に減らす）ためにのみ役立つ累積システムとして最もよく考えられています。したがって、統計分析への適切な科学的アプローチに従い、尤度比などのツール（おそらくベイジアンアプローチも）を避けてNHSTを回避すると、多重比較の「問題」がなくなります。

質問に応じて、修正の可能な代替手段は、p値の合計の有意性をテストすることです。その後、高いp値を追加することで行われないテストに対してペナルティを課すこともできます。

（独立性を必要としない）フィッシャーの方法（テストの独立性を必要とする）の拡張を使用できます。

例えば。コストの方法

覚えておくべき非常に重要なことの1つは、複数のテスト修正では独立したテストを想定していることです。分析するデータが独立していない場合は、実行するテストの数を単に修正するよりも少し複雑になります。分析するデータ間の相関関係を考慮する必要があります。そうしないと、修正があまりにも慎重すぎるため、タイプIIエラー率が高い。相互検証、順列テスト、またはブートストラップは、適切に使用すれば、複数の比較を処理する効果的な方法であることがわかりました。他の人はFDRの使用について言及しましたが、p値がnullの下のすべてのテストで均一であると想定しているため、データに多くの非独立性がある場合、これは誤った結果をもたらす可能性があります。