フィッシャーのLSDは彼らが言うほど悪いですか？

2つのグループで実験（小さなサンプルサイズ（通常、処理グループごとのサンプルサイズは約7〜8））を実行するとき、t検定を使用して差をテストします。ただし、ANOVA（明らかに3つ以上のグループ）を実行するときは、ボンフェローニ（LSD /ペアワイズ比較の数）またはテューキーの線に沿って何かを使用します。フィッシャーの最小有意差（LSD）を使用します。

さて、LSDはペアワイズt検定に似ています（そうですか？）ので、それが考慮されていない唯一のことは、多重比較を行っていることです。ANOVA自体が重要な場合、たとえば6つのグループを扱うとき、それはどれほど重要ですか？

または言い換えれば、フィッシャーのLSDを使用する科学的/統計的な理由はありますか？

フィッシャーのLSDは、一連のペアワイズt検定であり、各検定は、有意なANOVAからの平均二乗誤差をプールされた分散推定値として使用します（および関連する自由度を自然に取得します）。ANOVAが重要であることは、このテストの追加の制約です。

3グループのみの特別な場合に、家族単位のエラー率をアルファに制限します。Howellは、行動科学の基礎統計、第8版、David C. Howellの第16章で、その方法について非常に優れた比較的簡単な説明をしています。

上記の3つのグループでは、アルファが急速に膨張します（@Alexisが上記のように）。6つのグループには必ずしも適切ではありません。ほとんどの人がそれをオプションとして無視することを提案するのは、この限られた適用性だと思います。

6つのグループを扱う場合、多重比較はどれほど重要ですか？うーん... 6つのグループにあなたは、最大で扱っている可能事後対比較を。計り知れないほどのRandall Munroeに、多重比較の重要性を説明させていただきます。$\frac{6(6-1)}{2} = 15$

また、冒頭の文のように、時には7つのグループがあることを示唆している場合、ポストホックペアワイズテストの最大数はです。遠く jellybeanシナリオに似すぎだけ（また21回のテストを提示する;）発表しました。だから、本当に、あなたが繰り返しあなたにxkcd 882のコピーを送ってあなたをock笑したくない限り、私は先に進み、複数の比較調整を行います（BonferroniやHolm-SidakのようなFWER、またはBenjaminiやHochbergのようなFDR） 。$\frac{7(7-1)}{2} = 21$

フィッシャーのテストは、誰もがそれがネイマン・ピアソンの観点からであると言っているのと同じくらい悪いです。これは多くの出版された 論文で見ることができます。ただし、ANOVAまたはそれらのいずれかの後ですべての違いをテストすることは、必要でも推奨でもありません。また、フィッシャーの検定は、統計的推論のネイマンピアソン理論に基づいて作成されたものではありません。

フィッシャーがLSDを提案したとき、重要性のカットオフを結果が重要かどうかを決定するためのハードで速いルールを考慮しなかったため、フィッシャーは複数のテストを重要な問題と実際に考えなかったことに留意することが重要です。重要な結果があるかもしれないが、意味のあるものの調停者ではない可能性がある場所のデータを閲覧する簡単な方法として、LSDを構築できます。p > 0.05の場合は、より多くの被験者を実行する必要があると言ったのはフィッシャーでした。

そして、なぜあなたはすべてをテストすることは良い考えだと思いますか？そもそもANOVAを実行する理由を検討してください。あなたはおそらくあなたの質問で親密なように、複数のt検定を実行することが問題だからだと教えられました。次に、なぜそれらを実行するのか、またはそれらに相当するものを後で実行するのですか？私はそれが起こることを知っていますが、ANOVAの後にテストを実行する必要はありません。ANOVAは、データのパターンが等しい値のセットではなく、そこに何らかの意味があるかもしれないことを知らせます。多くの人は、テストでは意味のある部分がどこにあるのかを教えてくれないが、データや理論がそれを伝えていることを忘れているという警告にこだわっています。

FisherのLSDの背後にある推論は、N = 3 を超える場合に拡張できます。

4つのグループのケースについて詳しく説明します。家族ごとのType-Iエラー率を0.05以下に保つには、4つのグループ間で6つの事後比較がありますが、3の多重比較補正係数（0.05 / 3の比較ごとのアルファ）で十分です。それの訳は：

• 4つの真の平均がすべて等しい場合、4つのグループにわたるオムニバスAnovaは、家族ごとのエラー率を0.05に制限します。
• 3つの真の平均が等しく、4番目がそれらと異なる場合、Type-Iエラーを生じる可能性のある比較は3つだけです。
• 真の平均のうち2つが等しく、他の2つ（互いに等しい）と異なる場合、Type-Iエラーが発生する可能性がある比較は2つだけです。

これは可能性を使い果たします。すべての場合において、真の平均が等しいグループの0.05未満の1つ以上の p値を見つける確率は、多重比較の補正係数が3の場合、0.05以下に留まり、これが家族ごとのエラー率の定義です。

この4つのグループの推論は、フィッシャーの3グループの最小有意差法の説明からの一般化です。ためのN個のグループ、補正係数、オムニバスANOVA検定が有意である場合、（あるN -1）（N -2）/ 2。したがって、N（N -1）/ 2の係数によるBonferroni補正は強すぎます。N = 3 に対してアルファ補正係数1を使用するだけで十分です（これが、N = 3 に対してFisherのLSDが機能する理由です）、N = 4 に対して係数3 、N = 5 に対して係数6、Nに対して係数10を使用します。N = 6など。