効果サイズは本当にp値より優れていますか?
応用研究におけるp値ではなく、効果の大きさに依存して報告することに多くの重点が置かれています(例えば、以下の引用)。 しかし、p値のような効果サイズがランダム変数であり、同じ実験を繰り返したときにサンプルごとに異なる可能性があるということはありませんか?言い換えれば、どの統計的特徴(たとえば、p値よりもサンプルごとの効果サイズの変動が少ないか)が、p値よりも効果サイズの証拠測定指標を良くするかどうかを尋ねています。 ただし、p値とエフェクトサイズを分離する重要な事実に言及する必要があります。つまり、母集団パラメーターがあるため効果の大きさは推定されますが、母集団パラメーターがないためp値は推定されません。 私にとって、効果の大きさは、特定の研究分野(人間の研究など)で、さまざまな研究者が開発した測定ツールから得られた経験的知見を共通のメトリックに変換するのに役立つ指標です定量研究クラブ)。 たぶん、効果の大きさとして単純な割合をとると、次の(Rの)がp値に対する効果の大きさの優位性を示すものでしょうか?(p値は変更されますが、効果サイズは変更されません) binom.test(55, 100, .5) ## p-value = 0.3682 ## proportion of success 55% binom.test(550, 1000, .5) ## p-value = 0.001731 ## proportion of success 55% ほとんどの効果のサイズは、検定統計量と直線的に関連していることに注意してください。したがって、効果サイズを使用して帰無仮説のテストを行うのは簡単なステップです。 たとえば、プレポストデザインから得られたt統計は、対応するCohenのd効果サイズに簡単に変換できます。そのため、Cohenのdの分布は、at分布のスケール位置バージョンにすぎません。 引用符: p値は混同されたインデックスであるため、理論上、さまざまなサンプルサイズと100の異なる効果サイズを持つ100の研究はそれぞれ同じ単一のp値を持つことができ、同じ単一の効果サイズを持つ100の研究はそれぞれp値に対して100の異なる値を持つことができます。 または p値は、サンプルごとに異なるランダム変数です。。。。したがって、2つの異なる実験、または同じ実験で測定された2つの変数のテストからp値を比較し、一方が他方よりも重要であることを宣言することは適切ではありませんか? 引用: トンプソン、B。(2006)。行動統計の基礎:洞察に基づくアプローチ。ニューヨーク、ニューヨーク:ギルフォードプレス。 グッド、PI、ハーディン、JW(2003)。統計の一般的なエラー(およびそれらを回避する方法)。ニューヨーク:ワイリー。