2つのサンプルの平均が著しく異なるが、差が問題には小さすぎると思われる場合の対処方法

私は2つのサンプル（有する$n \approx 70$の両方のケースでは）。平均は、プールされた標準の約2倍異なります。開発者 結果の$T$値は約10です。平均が同じでないことを最終的に示したことを知るのは素晴らしいことですが、これは大きなnによって駆動されるように思われます。データのヒストグラムを見ると、小さなp値が実際にデータを代表しているとは感じませんし、正直に言って引用するのは気にしないでください。おそらく間違った質問をしているのでしょう。私が考えているのは：わかりました、平均は異なり​​ますが、分布が重要な重複を共有しているのでそれは本当に重要ですか？

これはベイジアンテストが有用な場所ですか？もしそうなら、どこから始めるのが良い場所か、ちょっとしたグーグルは何も役に立たなかったが、私は正しい質問をしてはいけないかもしれない。これが間違っている場合、誰にも提案がありますか？または、これは定量分析ではなく単に議論のポイントですか？

してみましょう示す第一集団との平均値μ 2示す第二集団の平均。あなたが二標本使用していたようですトンをかどうかをテストするには-test μ 1 = μ 2。有意な結果はその意味μ 1 ≠ μ 2を、その差は、アプリケーションのために重要で、小さなまでのようです。$\mu_1$$\mu_2$$t$$\mu_1=\mu_2$$\mu_1\neq\mu_2$

あなたが遭遇したことは、統計的に重要なものがアプリケーションにとって重要でないことがしばしばあるという事実です。違いは統計的に有意かもしれませんが、それはまだ意味がないかもしれません。

ベイジアンテストではその問題は解決しません。違いが存在すると結論付けるだけです。

しかし、抜け道があるかもしれません。例えば、一方的な仮説のためにあなたがいる場合と判断する可能性があるΔのより大きな単位μ 2、そのアプリケーションでは問題にする十分な大きさである意味の違いだろう。$\mu_1$$\Delta$$\mu_2$

その場合、あなたはかどうかをテストするでしょうの代わりかどうかμ 1 - μ 2 = 0。T -statisticその場合であろう（等分散を仮定して） T = ˉ X 1 - ˉ X 2 - $\mu_1-\mu_2\leq \Delta$$\mu_1-\mu_2=0$$t$ ここで、spはプールされた標準偏差の推定値です。帰無仮説の下で、この統計は、Tはで-distributedN1+N2-2自由度。

この検定を実行する簡単な方法は、最初の母集団から観測値からを減算してから、通常の片側2標本t検定を実行することです。$\Delta$$t$

いくつかのアプローチを比較することは有効ですが、私たちの欲望/信念を支持するアプローチを選択する目的ではありません。

あなたの質問に対する私の答えは次のとおりです：2つの分布が異なる手段を持っている間に重複する可能性があり、それはあなたの場合のようです（しかし、より正確な答えを提供するためにデータとコンテキストを見る必要があります）。

通常の平均を比較するためのいくつかのアプローチを使用してこれを説明します。

1. テスト$t$

サイズの2つのシミュレートされたサンプル検討からN （10 、1 ）及びN （12 、1 ）、その後のT -値はおよそ10（以下Rコードを参照）あなたの場合のように。$70$$N(10,1)$$N(12,1)$$t$$10$

rm(list=ls())
# Simulated data
dat1 = rnorm(70,10,1)
dat2 = rnorm(70,12,1)

set.seed(77)

# Smoothed densities
plot(density(dat1),ylim=c(0,0.5),xlim=c(6,16))
points(density(dat2),type="l",col="red")

# Normality tests
shapiro.test(dat1)
shapiro.test(dat2)

# t test
t.test(dat1,dat2)

ただし、密度にはかなりの重なりがあります。ただし、平均に関する仮説をテストしていることを思い出してください。この場合、これは明らかに異なりますが、の値のために密度の重複があります。$\sigma$

2.プロフィール可能性$\mu$

プロファイルの尤度と尤度の定義については、1および2を参照してください。

$\mu$$n$$\bar{x}$$R_p(\mu)=\exp\left[-n(\bar{x}-\mu)^2\right]$

シミュレートされたデータの場合、これらは次のようにRで計算できます。

# Profile likelihood of mu
Rp1 = function(mu){
n = length(dat1)
md = mean(dat1)
return( exp(-n*(md-mu)^2) )
}

Rp2 = function(mu){
n = length(dat2)
md = mean(dat2)
return( exp(-n*(md-mu)^2) )
}

vec=seq(9.5,12.5,0.001)
rvec1 = lapply(vec,Rp1)
rvec2 = lapply(vec,Rp2)

# Plot of the profile likelihood of mu1 and mu2
plot(vec,rvec1,type="l")
points(vec,rvec2,type="l",col="red")

$\mu_1$$\mu_2$

3.後方$\mu$

$(\mu,\sigma)$

$\mu$

# Posterior of mu
library(mcmc)

lp1 = function(par){
n=length(dat1)
if(par[2]>0) return(sum(log(dnorm((dat1-par[1])/par[2])))- (n+2)*log(par[2]))
else return(-Inf)
}

lp2 = function(par){
n=length(dat2)
if(par[2]>0) return(sum(log(dnorm((dat2-par[1])/par[2])))- (n+2)*log(par[2]))
else return(-Inf)
}

NMH = 35000
mup1 = metrop(lp1, scale = 0.25, initial = c(10,1), nbatch = NMH)$batch[,1][seq(5000,NMH,25)]
mup2 = metrop(lp2, scale = 0.25, initial = c(12,1), nbatch = NMH)$batch[,1][seq(5000,NMH,25)]

# Smoothed posterior densities
plot(density(mup1),ylim=c(0,4),xlim=c(9,13))
points(density(mup2),type="l",col="red")

繰り返しますが、手段の信頼区間は、妥当なレベルで重複しません。

結論として、分布が重複しているにもかかわらず、これらすべてのアプローチがどのように平均の有意差を示しているかを見ることができます（これが主な関心事です）。

$\star$

${\mathbb P}(X<Y)$$0.8823825$

# Optimal bandwidth
h = function(x){
n = length(x)
return((4*sqrt(var(x))^5/(3*n))^(1/5))
}

# Kernel estimators of the density and the distribution
kg = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(dnorm((x[i]-data)/hb))/hb
return(r )
} 

KG = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(pnorm((x[i]-data)/hb))
return(r ) 
} 

# Baklizi and Eidous (2006) estimator
nonpest = function(dat1B,dat2B){
return( as.numeric(integrate(function(x) KG(x,dat1B)*kg(x,dat2B),-Inf,Inf)$value))  
}

nonpest(dat1,dat2)

これがお役に立てば幸いです。

正しい質問に答える

わかりました、平均は異なり​​ますが、分布がかなりのオーバーラップを共有するので、それは本当に重要ですか？

グループの平均が異なるかどうかを尋ねるテストは、正しく機能する場合、平均が異なるかどうかを示します。データ自体の分布が異なることはわかりません。それは別の質問だからです。 その質問は確かに平均が異なるかどうかだけでなく、分散、歪曲、尖度として（不完全に）要約される可能性のある他の多くのものにも依存します。

平均がどこにあるかについての確実性は、推定する必要があるデータの量に依存するため、より多くのデータを使用すると、より重複する分布の平均差を見つけることができます。しかし、あなたは

p値が小さいなど、データを実際に表します

確かに、少なくとも直接ではありません。これは仕様によるものです。データのサンプル統計の特定のペア（データ自体ではない）が異なる可能性があることの確実性を表す（おおよそ）。

単にヒストグラムを表示してその瞬間をテストするよりも、より正式な方法でデータ自体を表現したい場合、おそらく密度プロットのペアが役立つかもしれません。むしろ、実際にテストを使用する引数に依存します。

ベイジアン版

これらすべての点で、ベイジアン差分「検定」とT検定は同じことをしようとしているため、同じように動作します。ベイジアンアプローチを使用することで考えられる唯一の利点は、a）各グループで異なる分散を可能にするテストを簡単に実行できること、およびb）平均の差の推定サイズの推定に焦点を当てることです。何らかの差検定のp値を見つけるのではなく。とはいえ、これらの利点はごくわずかです。たとえば、b）の場合、差の信頼区間を常に報告できます。

「テスト」の上にある引用符は意図的なものです。ベイジアン仮説検定を行うことは確かに可能であり、人々はそうします。ただし、このアプローチの比較優位は、データのもっともらしいモデルを構築し、その重要な側面を適切なレベルの不確実性で伝えることに焦点を当てていることをお勧めします。

まず第一に、これは頻繁なテストをピン留めする問題ではありません。問題は、平均が正確に等しいという帰無仮説にあります。したがって、母集団の平均が少しでも異なっていて、サンプルサイズが十分に大きい場合、この帰無仮説を棄却する可能性は非常に高くなります。したがって、テストのp値は非常に小さいことがわかりました。犯人は帰無仮説の選択です。d> 0を選択し、平均値がd未満で絶対値がd未満であるという帰無仮説を採用します。dを選択すると、拒否するために実際の差を十分に大きくする必要があります。あなたの問題はなくなります。平均の正確な等価性の帰無仮説を主張する場合、ベイジアン検定は問題を解決しません。