箱ひげ図を読む：グループ間の有意差を収集することは可能ですか？

次の箱ひげ図を見ているとしましょう：

木曜日と金曜日の間、私はほとんどの人が睡眠時間に大きな違いがあるように思われることに同意すると思います。しかし、それは統計的に有効な推測ですか？木曜日と金曜日の間で四分位範囲のどちらも重複しないという事実のために、私たちは有意差を識別できますか？木曜日と金曜日のウィスカの上部と下部がそれぞれ重なっているという事実はどうですか？それは分析に影響しますか？

通常、このようなチャートに付随するのはある種の分散分析ですが、箱ひげ図を見るだけでグループ間の違いについてどれだけ言えるか知りたいです。

いいえ、できません。サンプルサイズと多くの経験がある場合は、推測できる可能性があります。推測の精度は、（効果サイズに加えて）サンプルサイズに依存します。N =グループあたり1,000,000の場合、多くの意味があります。グループあたりN = 10の場合、それほど多くありません。グループあたり100とすると、推測するのが難しくなります。

それは良いことだと私は主張します。箱ひげ図で行うことは、統計的有意性を推測しようとすることではなく、何が起こっているのかを見てそれについて推論しようとすることです。うーん。週末はもっと寝ます。それは興味深いですが、それほど驚くべきことではありません。週末の時間と睡眠の関数として睡眠時間をモデル化できます。または、このパターンが変化したかどうかを確認することもできます。おそらく退職した人はこのパターンを持っていませんか？シフト労働者はどうですか？週末に働く人？週7日働く人？

私の大学院のお気に入りの教授（Herman Friedman）は、「研究にp-ingをやめる！」と言っていました。

はい、できます。少なくともおおよその意味で。

以下に、いくつかの注意事項と制限事項とともに、以下の方法（および実際に、「ボックスオーバーラップ」との関係があります）の概要を説明します。ただし、最初に、背景とコンテキストのいくつかの予備知識について説明します。（ここでの適切な回答は、例の詳細に焦点を当てるべきではないと思います-余談としていくつかの言及に値するかもしれませんが-明白な違いがランダムな変動として簡単に説明できるかどうかを評価するための箱ひげ図の使用の中心的な問題に。）

データにアクセスできる場合は、この種の視覚的な比較のために設計されたノッチ付き箱ひげ図を描くことができます。

ここでは、ノッチ付き箱ひげ計算の説明があります。ノッチ間隔がオーバーラップしない場合、比較される2つのグループは5％レベルでほぼ異なります。計算は通常の計算に基づいていますが、かなり堅牢であり、分布の範囲全体でかなり良好に機能します。（正式なテストとして扱われる場合、パワーは通常はそれほど高くありませんが、多かれ少なかれ「典型的な」重い裾のさまざまなケースではかなりうまくいくはずです。）

ノッチ付き箱ひげ図がどのように機能するかを考えると、問題のようなディスプレイしかない場合に機能する簡単な経験則がわかります。サンプルサイズが10で、中央値がボックスの中央近くに配置されている場合、ノッチ付きボックスプロットのノッチはボックスの幅とほぼ同じであるため、ノッチ端とボックスはほぼ同じ場所にあります。

$n=10$

$n=10$

$n=9$$n=10$

$n=10$$n=10,10$$n=9,9$$n=8,8$

$n$$\sqrt{n}$$n=40$

あなたのプロットを見て：

問題のプロットの外観から、サンプルサイズは少なくとも5でなければならないことがわかります。それらが5未満の場合、個々のサンプルの箱ひげ図は、低いサンプルサイズからのものであるという明確な手がかりを持ちます（中央値が各ボックスの死点である、またはウィスカの長さが0であるなどの外れ値があった場合）。

または、ボックス（四分位数をマーク）が互いに重ならず、サンプルサイズが10以上の場合、比較される2つのグループは5％レベルで異なる中央値を持つ必要があります（1つのペアごとの比較と見なされます）。

$n$$n=5$

[これは、比較の数を考慮しないことに注意してください。そのため、複数の比較を行う場合、全体的なタイプIエラーは大きくなります。正式なテストではなく、目視検査を目的としています。それにもかかわらず、関連するアイデアは、複数の比較の調整を含む、より正式なアプローチに適合させることができます。]

あなたがいるかどうか取り上げたことができ、あなたがいるかどうかを検討するのが妥当だろうはず。おそらくそうではありません。潜在的なp-ハッキングの問題は本当ですが、これを使用して、たとえば、研究の問題に関する新しいデータを収集することを追求するかどうか、そしてあなたが持っているすべてが紙の箱ひげ図である場合、ノイズによる変動で簡単に説明できる以上のものがあるかどうかを評価できるので、非常に役立ちます。しかし、その問題を詳細に検討することは、実際には別の質問に答えることになります。