各グループで相関は重要ですが、全体では重要ではありませんか？

グループAとBの変数とyの間のピアソン相関をテストするとします。それが可能である（X 、Y ）の相関の各々において有意であるAとB両方のグループからのデータを組み合わせた場合が、非重要？この場合、その説明をお願いします。$x$$y$$A$$B$$(x,y)$$A$$B$

はい、それは可能であり、それはあらゆる種類の方法で発生する可能性があります。1つの明白な例は、xとyの値を反映する何らかの方法でAとBのメンバーシップが選択された場合です。他の例も可能です。たとえば、@ Macroのコメントは別の可能性を示唆しています。

Rで記述された以下の例を考えてみます。xとyはiidの標準の通常の変数ですが、xとyの相対値に基づいてそれらをグループに割り当てると、名前が付けられます。グループAとグループB内では、xとyの間に統計的に有意な強い相関がありますが、グループ化構造を無視すると、相関はありません。

> library(ggplot2)
> x <- rnorm(1000)
> y <- rnorm(1000)
> Group <- ifelse(x>y, "A", "B")
> cor.test(x,y)

        Pearson's product-moment correlation

data:  x and y 
t = -0.9832, df = 998, p-value = 0.3257
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 -0.09292  0.03094 
sample estimates:
     cor 
-0.03111 

> cor.test(x[Group=="A"], y[Group=="A"])

        Pearson's product-moment correlation

data:  x[Group == "A"] and y[Group == "A"] 
t = 11.93, df = 487, p-value < 2.2e-16
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 0.4040 0.5414 
sample estimates:
   cor 
0.4756 

> cor.test(x[Group=="B"], y[Group=="B"])

        Pearson's product-moment correlation

data:  x[Group == "B"] and y[Group == "B"] 
t = 9.974, df = 509, p-value < 2.2e-16
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 0.3292 0.4744 
sample estimates:
   cor 
0.4043 
> qplot(x,y, color=Group)

1つの可能性としては、効果がグループごとに異なる方向に進み、それらを集約すると相殺される可能性があります。これは、回帰モデルで重要な交互作用項を省略したときに、主な効果が誤解を招く可能性がある方法にも関連しています。

$\rm A$$y_i$$x_i$

$$E(y_i|x_i, {\rm Group \ A}) = 1 + x_i$$

$\rm B$

$$E(y_i|x_i, {\rm Group \ B}) = 1 - x_i$$

$$P({\rm Group \ A}) = 1-P( {\rm Group \ B}) = p$$ $E(y_i|x_i)$

$$\begin{align*} E(y_i | x_i) = E( E(y_i|x_i,{\rm Group}) ) &= p(1+ x_i) + (1-p)(1-x_i) \\ &= p + px_i + 1 - x_i - p + px_i \\ &= 1 - x_i(2p-1) \end{align*}$$

$p = 1/2$$E(y_i | x_i) = 1$$x_i$$x_i$$y_i$

$p$

注：通常のエラーでは、線形回帰係数の有意性はピアソンの相関の有意性と同等であるため、この例では、表示されている内容の1つの説明を強調しています。