標本がANOVAまたはt検定には大きすぎることはありますか？

9

100万近くのデータセットがあり、平均比較検定（ANOVAまたはt検定）を実行するたびに、SPSSで.0001未満の有意水準が得られます。私のサンプルが非常に大きいので、もちろん、平均を比較すると、大幅に異なるものとして表示されることを心配しています。標本がANOVAまたはt検定には大きすぎることはありますか？

— user24232
ソース

3

質問はかなりよくカバーされているので、単なるコメント-それはあなたがすでに答えを知っている質問をしているという質問です（あなたは人口が平均が正確に等しいとは本当に思っていませんか？）、そしてたとえたとえたとえわずかであっても、実際には違いがあるという、すでに明白ではあるがそれほど興味深いことではない答えを与えるのに十分なサンプルサイズがあります。効果のサイズと信頼区間は、p値よりも有用であり、興味深い質問は、バイアスの問題にあり、そこにある違いを説明し、それらの実際的な重要性を判断する傾向があります。

— Glen_b-2013

16

いいえ、サンプルはANOVAまたはt検定には大きすぎません。強力なパワーを持っているので、統計的に有意な結果が得られます。ただし、これは、誤った差異を検出することを意味するものではありません。確かに、あなたが持っているケースの数に関係なく、存在しない効果は重要になりません。これはよくある誤解です。

ただし、強力であることは、サイズに関してほとんど意味のない違いを検出する可能性があることを意味します。たとえば、2つのレースの高さの平均が異なるが、違いはわずか0.5ミリメートルであることがわかります。

統計検定に関連付けられた効果サイズを解釈するようにしてください。この場合、p値は（通常のように）効果サイズよりも小さい価値があります！

— Behacad
ソース

正解です（+1）。私が見ることができる唯一の問題は、メモリと実行時間の問題に遭遇した場合です。最近のコンピューターでは、ANOVAやt検定のような単純なことを行う場合、100万件を超えるケースが必要になると思います。

— Peter Flom

標本サイズが母集団サイズと等しい場合はどうなりますか？では、p値をどのように選ぶのでしょうか。

— Sharath

2

以下を見てください（すべて非常に読みやすく、技術的ではありません）。
1.アンダーソンDR、バーナムKP、トンプソンWL（2000）帰無仮説検定：問題、有病率、および代替案。Journal of Wildlife Management 64：912-923。2. Gigerenzer G（2004）マインドレス統計。Journal of Socio-Economics 33：587-606。3. Johnson DH（1999）統計的有意性検定の重要性。野生生物管理のジャーナル63：763-772。

— トム・ワイルディング
ソース