なぜ依存が問題になるのですか？

8

従属観測が統計で問題になる理由に興味があります。2つの学校の平均試験の点数に差があるかどうかを知りたいとします。各学校で50の観測を収集します。これらの50の観察は、各学校の5つの異なる教室から得られ、教室内で依存関係があります。この場合、t検定の結果はどのように影響を受け、どのようにして不正確な結論につながるのでしょうか。

— ルチアーノ
ソース

5

t検定のp値は、すべての観測値が独立しているという仮定の下で計算されます。従属変数を処理する場合、確率（p値など）の計算ははるかに困難です。また、従属変数が存在する場合にテストで問題が発生する場所を数学的に確認することは必ずしも容易ではありません。ただし、シミュレーションで問題を簡単に説明できます。

たとえば、2つの学校のそれぞれに5つの教室があり、各教室に10人の生徒がいる場合を考えます。すべての教室間で平均テストスコアに差がない場合、正規性の仮定の下で、テストのp値は間隔で均一に分布する必要があります。つまり、このような多くの研究を行い、すべてのp値のヒストグラムをプロットした場合、それはボックス型の均一分布に似ているはずです。 $(0,1)$

ただし、生徒の結果の間に教室内の相関がある場合、p値は正常に機能しなくなります。正の相関関係（ここで予想されるかもしれません）は、p値が小さすぎることが多いため、実際には真である場合に帰無仮説が棄却される頻度が高くなります。これを示すRシミュレーションは以下にあります。2つの学校の1000の研究は、教室内のさまざまな相関関係についてシミュレーションされます。図のヒストグラムには、対応するt検定のp値が示されています。相関がない場合は均一に分散されますが、それ以外の場合は分散されません。シミュレーションでは、教室間に平均差はなく、すべての教室は教室内の相関が同じであると想定されています。

この現象の結果は、教室内の相関関係が存在する場合、t検定のタイプIのエラー率が大幅に低下することです。例として、教室内相関が0.1の場合、5％レベルのt検定は実際には約25％レベルです。言い換えると、観測値が依存している場合、帰無仮説を誤って拒否するリスクが劇的に増加します。

シミュレーションヒストグラム間で軸が多少異なることに注意してください。

Rコード：

library(MASS) 
B1<-1000

par(mfrow=c(3,2))

for(correlation in c(0,0.1,0.25,0.5,0.75,0.95))
{
# Create correlation/covariance matrix and mean vector
Sigma<-matrix(correlation,10,10)
diag(Sigma)<-1
mu<-rep(5,10)

# Simulate B1 studies of two schools A and B
p.value<-rep(NA,B1)
for(i in 1:B1)
{
    # Generate observations of 50 students from school A
    A<-as.vector(mvrnorm(n=5,mu=mu,Sigma=Sigma))

    # Generate observations of 50 students from school B
    B<-as.vector(mvrnorm(n=5,mu=mu,Sigma=Sigma))

    p.value[i]<-t.test(A,B)$p.value
}

# Plot histogram
hist(p.value,main=paste("Within-classroom correlation:",correlation),xlab="p-value",cex.main=2,cex.lab=2,cex.axis=2)
}

— MånsT
ソース

あなたの答えは、私が得たいと思っていた種類の答えです（+1）。しかし、教室内の相関関係をどのように計算できるか説明していただけますか？2つのa学校の5つの教室にはそれぞれ、1つの変数で測定された10の観察があります。相関関係についての私の理解は、2つの変数で測定された観測が必要になるということです。

— Luciano 2013年

@luciano：この相関を計算すること、または推定することは、実際にはトリッキーであることが判明する可能性があります！ただし、シミュレーションで使用するモデルに含めるのは簡単です。教室の10人の生徒の結果が生成されると、それらは相関して生成されます。相関関係がある2つの変数は、とすべての組み合わせについて、学生結果と学生結果です。これは基本的に、教室の1人の生徒が（学校の平均と比較して）成績が良ければ、他の生徒も成績が高い可能性が高いことを意味します。

ρ

$\rho$

X_{i}

$X_i$

i

$i$

X_{j}

$X_j$

j

$j$

i = 1, \dots, 10

$i=1,\ldots,10$

j = 1, \dots, 10

$j=1,\ldots,10$

— MånsT

3

問題は、2つの学校をこのように比較すると、大学レベルの効果と教室レベルの効果が混ざり合うことです。混合モデルでは、これらのもつれをほどくことができます。それらのもつれをほぐすことに関心がない場合でも、クラスター化されたサンプリングを考慮する必要があります（多くの人がこれを失敗していますが）。

上記の@Nicoのコメントは、ここで1つの問題にぶつかります：1つの学校の1人の教師が本当に優れていて、彼/彼女がたまたま選ばれた教師の1人だとしたら？

しかし、別の問題は、各クラスの学生は、さまざまな方法で同じ大学の他の学生よりも互いに似ているということです：異なる科目は、年齢、性別、経験、学力によって異なるタイプの学生を引き付けます弱点など

— ピーター・フロム
ソース

1

両方の学校から公正な方法でサンプルを採取したので、あなたが説明したテストに問題はありません。依存する観測は、サンプルが依存する別の変数があるときに機能します。つまり、いずれかの学校で1つのクラスしか表示されておらず、この1つのクラス内の50人から結果を取得することにしました。しかし、学校内では結果がクラスに依存しているため、このように行うことはできず、統計的検定では検出できない誤った結果が得られます。これは、誤った実験計画です。

しかし、人々は通常、異なる視点からの依存的観察について話していると思います。それは、独立性の仮定に基づいてサンプルから分布とエラーを導き出すことができると考えるときです（ほとんどの標準的な式はそれを前提としています）。一方、結果が互いに依存しているときは、これらのルールはまったく正確ではありません...

— サシケロ
ソース

3

2つの学校の1つの1つのクラスに非常に優れた教師がいて、そのクラスのすべての子供が他のクラスの平均を超える場合はどうなりますか？その学校の全体的な平均スコアは高くなる可能性がありますが、それはそのクラスのためであり、その学校の一般的な人口がより良いためではありません。

— nico 2013年

そして、何ですか？その学校は平均してより良く、そしてもちろんその教師のおかげでもあります。さまざまな地域の子供たちを比較しようとしている場合は、そうです。それ以外の場合は何も問題はありません。

— sashkello 2013年

さて、実際に外れ値の影響を見ていると、その学校のすべてのクラスが（たとえば、校長の方針のために）優れているという誤った結論に至るかもしれません。「教師効果」を修正する、たとえば、それを迷惑要素としてモデル化すると、この問題が修正される場合があります。

— nico 2013年

1

関係ないと思います。「どちらの学校が良いか」という文脈では、その理由が何であれ、平均結果が高い学校が優れています。そのような実験の結果は間違いではありません、あなたはそれを適切に解釈する必要があるだけです。また、5つのクラスのうち1つは異常値ではありません。平均からどれほど離れていても、それはあなたがどちらの学校をより良く考えるかという定義の問題であるため、実際には「外れ値」などはまったくないと私は主張することもできます。中央値が良いか、上位5人の生徒が優れているかなど。

— sashkello 2013年