平均差がほぼ0の場合、t検定はどのように統計的に有意ですか？

2つの母集団のデータを比較して、処理間の差が統計的に有意であるかどうかを確認しようとしています。データセットは、2つのセットの違いがほとんどない正規分布のように見えます。平均差は0.00017です。平均値に差がないという帰無仮説を棄却できないと予想して、対応のあるt検定を実行しましたが、計算したt値は臨界t値よりもはるかに高くなっています。

平均差が非常に小さくても、検定が有意だったからといって、あなたが何か間違ったことをしたと信じる理由はありません。対応のあるt検定では、重要性は次の3つによって駆動されます。

1. 平均差の大きさ
2. あなたが持っているデータの量
3. 差の標準偏差

確かに、あなたの平均差は非常に小さいです。一方、かなりの量のデータがあります（N = 335）。最後の要素は、差異の標準偏差です。それが何であるかはわかりませんが、重要な結果が得られたので、データ量との小さな平均差を克服するのに十分小さいと想定しても安全です。直感を構築するために、スタディのすべての観測値のペアの差が0.00017であり、差の標準偏差が0 であると想像してください。小さなもの）。

以下のコメントで@whuberが指摘しているように、0.00017は非常に小さい数のように見えますが、意味のある用語で必ずしも小さいとは限らないことを指摘する価値があります。それを知るためには、いくつかのことを知る必要があります。単位が非常に大きい（たとえば、年、キロメートルなど）場合、小さいように見えるものはかなり大きくなる可能性がありますが、単位が小さい場合（たとえば、秒、センチメートルなど）、この差はさらに小さく見えます。第2に、小さな変更でも重要になる可能性があります。非常に安価で、国民全体に投与しやすく、副作用のない何らかの治療法（ワクチンなど）を想像してみてください。ほんの少しの命を救っただけでも、やる価値はあるでしょう。

差が本当に大きいか小さいかを知るには、ある程度の尺度が必要です。標準偏差は尺度の1つの尺度であり、その尺度を部分的に説明するt検定式の一部です。

5歳の身長と20歳の身長（人間、同じ地理的領域など）を比較するかどうか検討してください。直感は、そこに実際的な違いがあることを私たちに教えており、高さがインチまたはセンチメートルで測定される場合、違いは意味があるように見えます。しかし、高さをキロメートルに変換するとどうなるでしょうか。または光年？その場合、差は非常に小さい数になります（ただし、それでも異なります）が（丸め誤差を除いて）、t検定は、高さがインチ、センチメートル、またはキロメートルのいずれで測定されても同じ結果になります。

したがって、測定のスケールによっては0.00017の差が非常に大きくなる場合があります。

クリティカルが計算した値よりも小さく、テストが特定の種類のデータ（重要な「if」）に適切であると想定した場合、差はの意味で統計的に有意であるように見えます。適切なコンテキストでの有意なは、一般に、観測された差異がゼロ以外の信頼性が高すぎて、データが「まったく異なる」という帰無仮説をサポートできないことを意味します。観測されたすべての差が.00015〜.00020の場合、差でさえ、ゼロから統計的に有意である可能性があります。観察する！t $t$unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations$t$$\frac{17}{100,000}$

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

.00001$t$

多分あなたは、この帰無仮説の有意性検定という文字通りの意味よりも、実用的な意義にもっと興味を持つでしょう。実用的な有意性は、統計的有意性よりも、コンテキスト内のデータの意味に大きく依存します。純粋に統計的な問題ではありません。私はこの原則の有用な例を、p値の定着した見解への対応という、よくある質問への回答で引用しました。

$r=.03$

この「生と死の問題」は、基本的にアスピリンが心臓発作に及ぼす影響の大きさでした。これは、数値が小さく、一貫性がはるかに低い、実用上重要な意味を持つ強力な例です。あなたが利益を得るかもしれない確かな答えを持つ他の多くの質問はここに値するリンクを含みます：

• 「統計的に有意」では不十分なのはなぜですか？
• 実用的vs統計的有意性
• 特にパーセントの場合の実用的な重要性：「標準」の測定値としきい値

参照

Rosenthal、R.、Rosnow、RL、＆Rubin、DB（2000）。行動研究におけるコントラストと効果の大きさ：相関アプローチ。ケンブリッジ大学出版局。

Rの例は、理論上の概念の動作を示しています。コインの裏返しが.0001の確率を持つ10,000回のコイン投げの10,000回の試行と比較して、コインの裏返しが.00011の確率を持つ10,000回のコイン投げの10,000回の試行

t.test（rbinom（10000、10000、.0001）、rbinom（10000、10000、.00011））

t = -8.0299、df = 19886.35、p値= 1.03e-15対立仮説：平均の真の差は0に等しくない95％信頼区間：-0.14493747 -0.08806253サンプル推定：yのx平均の平均0.9898 1.1063

平均の違いは、人間の認識の点では比較的0に近いですが、統計的に0とは非常に異なります。