それはすべて家族の中にあります。しかし、私たちは義理の人も含めますか？

2つ以上の要因を含む実験があるとします。全体的なANOVAが構築され、その後、複数の比較を行うなど、2つ以上の事後テストのセットでフォローアップします。私の質問は、これらの事後テストの多重度調整の基礎として使用する家族の数と数についてです。

例としては、EDAに関するTukeyの本のwarp-breaksデータセットがあります。wool（2つのレベルで）とtension（3つのレベルで）の2つの要因があります。分散分析表は次のとおりです。

Source       Df Sum Sq Mean Sq F value    Pr(>F)    
wool          1  450.7  450.67  3.7653 0.0582130
tension       2 2034.3 1017.13  8.4980 0.0006926
wool:tension  2 1002.8  501.39  4.1891 0.0210442
Residuals    48 5745.1  119.69  

明らかに、モデルには相互作用が必要です。そこで、他の因子を固定したまま、各因子のレベルの比較を行うことにします。結果は以下のとおりですが、いくつかの注釈は後で参照されます。

*** Pairwise comparisons of tension for each wool ***
*** All combined: Family T ***

wool = A:   *** Family T|A ***
 contrast   estimate       SE df t.ratio
 L - M    20.5555556 5.157299 48   3.986
 L - H    20.0000000 5.157299 48   3.878
 M - H    -0.5555556 5.157299 48  -0.108

wool = B:   *** Family T|B ***
 contrast   estimate       SE df t.ratio
 L - M    -0.5555556 5.157299 48  -0.108
 L - H     9.4444444 5.157299 48   1.831
 M - H    10.0000000 5.157299 48   1.939


*** Comparison of wool for each tension ***
*** All combined: Family W ***

tension = L:   *** Family W|L ***
 contrast  estimate       SE df t.ratio
 A - B    16.333333 5.157299 48   3.167

tension = M:   *** Family W|M ***
 contrast  estimate       SE df t.ratio
 A - B    -4.777778 5.157299 48  -0.926

tension = H:   *** Family W|H ***
 contrast  estimate       SE df t.ratio
 A - B     5.777778 5.157299 48   1.120

そこにはさまざまな慣行があると思いますが、どれが最も一般的であり、人々がそれぞれのアプローチに対して賛成または反対することになるのではないでしょうか。調整された値を計算する際に、多重度調整を行う必要があります...$P$

1. 最小の5つのファミリ（T | A、T | B、...、W | H）はそれぞれ個別に？（注-最後の3つのファミリにはテストが1つしかないため、それらの多重度の調整はありません）
2. 大きなファミリ（T、6つのテスト、W、3つのテスト）のそれぞれを個別に？
3. テストすべてを1つの大家族と見なしますか？$6+3=9$

私は、人々が通常何をするか（彼らがそれについてあまり考えていなかったとしても）と理由（彼らが持っている場合）の両方に興味があります。私が言及するかもしれないいくつかのことは：

• $F$
• すべてのテストがそれほど強力ではない、やや小規模な実験を行った場合、相互作用が重要ではなく、周辺平均のみの事後比較の数がはるかに少なくなる可能性があります。さらに、周辺平均は、大規模な実験でセル平均が行うよりも小さいSEを持つことができます。さらに、多重度調整の保守性が低い場合は、データ量が多い場合よりも、データ量が少ない場合の方が「有意な」結果が得られる可能性があります。

人々が言わなければならないことを見ることに興味があります...

まだ誰も答えていないので、これを見てみましょう。

この場合、9つのテストすべてを調整する必要があるのは、私の意見です（他の人の意見も聞きたいです）。家族単位の誤り率補正を使用していると仮定すると、

• 9つのテストすべてから同時に結論を同時に導き出します。つまり、リストを下にスキャンして、重要なものを見つけます。

• これを可能にするために、家族全体での全体的なエラー率を5％にすることを検討しています。代わりに、グループを個別に5％FWERに修正することもできます。これは、解釈するときにテストを一緒に解釈できなかったことを意味し、最初の6つのテストを見て、誤検出の可能性が5％あると考え、その後、次の各テストを順番に調べて、各グループの誤検知の可能性は5％あること。IMO複数のテスト修正の有用性は、複数のテストから同時に推論を同時に引き出すことができることです。9つすべてのテストを見て、誤検知の可能性が5％あることを理解する方が論理的に思えます。それらを個別に調べる必要はなく、まったく修正しないのと同じです。

• $F$

• $F$

全体として、グループから同時推論を引き出す場合は、そのグループの各テストを考慮して修正する必要があると思います。そうしないと、制御されたグループのエラー率の標準的な理解が維持されず、調整されたものとそうでないものを概念的に追跡することは非常に困難です。私の意見では、すべてのテストに責任を負わせ、家族ごとのエラー率を所定のしきい値に保つ方がはるかに良いと私は考えています。

反論がある場合は、ぜひお聞かせください。また、一部の意見に反対する人もいると思います。他人の考えを聞くのは非常に興味があります。