多重比較が「計画」されている場合でも、多重比較を修正する必要がありますか？

20

15を超える個別の2x2カイ2乗検定を実行した論文をレビューしています。複数の比較を修正する必要があることを提案しましたが、すべての比較が計画されていると答えたため、これは必要ありません。

これは正しくないはずですが、そうであるかどうかを明示的に示すリソースは見つかりません。

誰でもこれを助けることができますか？

更新：

非常に有益な回答をありがとう。@gungの研究と分析に関する詳細情報のリクエストに応えて、3つの期間にわたって、2つの条件で2種類の参加者（学生、非学生）のカウントデータを比較しています。複数の2x2カイ2乗検定は、各条件で、各タイプの参加者ごとに各期間を比較するため（たとえば、学生、条件1、期間1対期間2）、すべての分析が同じ仮説をテストします。。

hypothesis-testing multiple-comparisons

— DrJay
ソース

2

多重比較を実行する多くの人々は、それらすべてを先験的に行うことを計画しています。全体的なタイプIエラー率を制御したいので、彼らはそれをします。状況によっては、複数の比較を修正しないことが合理的である場合がありますが、最初からすべてを比較することを計画するだけの問題ではありません。

— Glen_b -Reinstateモニカ

3

調査、データ、および分析についてもう少しお話いただけますか？可能なすべての比較に対して15を超える量ですか、それともわずかな％だけですか？彼らはどれくらいのデータを持っていますか？仮説がすべてアプリオリだったというのはどれほど妥当なのでしょうか？それらはすべて重要ですか？カイ二乗検定は互いに独立していますか？また、@ peuhpの回答で提起されたいくつかの質問を検討してください。

— グング-モニカの復職

4

「彼ら」は重要な結果を見つけることに興味があるので、彼らの反応は利己的です。したがって、彼らのアプローチが合法である理由を示すのではなく、それが非合法であることを示すのではなく、彼らに負担がかかります。多重比較の補正が無視できることを示す試みは、紙全体の偽陽性率を考慮するとすぐに失敗するため、「彼ら」はその問題のすべての考慮を（不誠実に）回避するか、理由に関する適切な議論を提供する必要がありますそれは彼らの意図された聴衆に関係ありません。

— whuber

1

このXKCDストリップへのリンクで返信したいのですが（お気付きかもしれませんが、これには完全に計画された複数のテストが含まれます...）。

— イルマリカロネン

21

これは私見の複雑な問題であり、この状況について3つのコメントをしたいと思います。

まず、一般的に、議論の文脈で定義された一連の整形式仮説による確認研究に直面するか、計画されているかどうかよりも多くの可能性の高い指標が観察される説明的研究に直面するかどうかに焦点を当てますすべての可能な比較を行うことを計画してください）。

次に、結果のp値がどのように議論されるかに焦点を当てます。それらは、一連の決定的な結論を提供するために個別に使用されていますか、それとも証拠と証拠の欠如として共同で議論されていますか？

最後に、15を超える個別のカイ2乗検定に起因する15を超える仮説は、実際には要約できる単一の少数の仮説（おそらく1つの仮説）の表現である可能性について説明します。

より一般的には、仮説が事前に指定されているかどうかに関係なく、多重比較を修正するかどうかは、タイプIエラーに含めるものの問題です。MCを修正しないことで、比較ごとのタイプIのエラーレート制御のみを維持できます。したがって、多数の比較を行う場合、家族ごとのタイプIのエラー率が高いため、誤検出が発生しやすくなります。

— プーフ
ソース

8

（+1）実験ごとのエラー率は、計画中の15の個々の比較によって制御されないことを説明する価値があるかもしれません。一方、プロトコルで想定されていない15を超える比較は、多重比較補正で考慮する必要はありません。

— Scortchi -復活モニカ

@Scortchiご意見をお寄せいただきありがとうございますが、「実験的なエラー率は15の個別比較の計画によって制御されていない」とはどういう意味ですか？

— peuhp

1

ただ、基本的なポイントその場合、あなたは多重比較の手順を使用する必要が行うすべてのそれらのテスト全体で一つ以上のタイプIエラーを作るのヌルの下で確率を制御したいです。私はそれについて言及するだけです、なぜなら私は以前に問題に関して混乱に遭遇したからです。

— Scortchi -復活モニカ

2

このまったく同じ問題がごく最近のスレッドで発生したことに注意してください：多重比較のPost Hocアプリケーション。

— マイケルR.チェルニック

1

@Scortchi。この説明と入力に感謝します。実際、これは私の回答で明確に指定する必要があります。これを追加します。

— peuhp

5

設計の更新を考えると、すべてのデータを一度に使用するために、何らかの形式の対数線形モデルを実行することをお勧めします。彼らが行った断片分析を行うことは、（a）非効率的（b）確かに実際の仮説が少ない15の仮説をテストするため、非科学的と思われます。

私は条件付けられた反射として多重度を修正するのが好きではありませんが、この場合、より深い分析的アプローチを拒否するなら、修正することをお勧めします。

— mdewey
ソース

1

k

$k$

15

$15$

1

χ^{2}

$\chi^2$

4

「計画的」を「計画的」という言葉に置き換えると、著者によって提示された議論を払拭するのに役立つ可能性があります。同じデータの2つの異なる統計分析を検討してください。

すべての可能な仮説テストが「統計的犯罪の首謀者」によって事前に組み合わせてレイアウトされている「計画的犯罪」、計画はそれぞれを体系的に試行し、最小のp値を持つテストを「主要な発見」として選ぶ論文の「結果」、「討論」、「結論」セクション、そして実際にタイトルも宣伝する。
最初の意図は、1つの仮説でデータと対merelyすることだけでしたが、「まあ...あることは別のことにつながる」、複数のアドホック仮説テストは科学的情熱の熱の中で「ただ起こる」「情熱の犯罪」データから「何か ... 何か！」を学びます。

いずれにせよ、それは「殺人」です-問題は、それが第一学位か第二学位かです。明らかに、最初のものは道徳的に問題が多いです。ここの著者たちは、それが計画的だったために殺人ではなかったという効果に対して何かを主張しようとしているように聞こえます。

— デビッド・C・ノリス
ソース

4

しかし、多重比較を行うことは犯罪ではありません。計画的であろうとなかろうと。Pハンティングは。

— クリフAB

1

このペーパーはあなたの質問に直接対処します：http : //jrp.icaap.org/index.php/jrp/article/view/514/417

（Frane、AV、「計画された仮説検定は多重度調整を必ずしも免除されない」、Journal of Research Practice、2015年）

— ボンフェローニ
ソース