2つの変数の合計は、個々の変数よりも多くの分散をどのように説明できますか？

2つの予測子が負の相関関係にある場合、合計と3番目の変数との相関関係について、困惑する結果が得られます。これらの困惑する結果の原因は何ですか？

例1：2つの変数の合計と3番目の変数の相関

以下に示すギルドフォードの1965年のテキストの427ページの式16.23を検討してください。

複雑な結果：両方の変数が.2を3番目の変数と相関させ、-。7を相互に相関させる場合、式の値は.52になります。2つの変数がそれぞれ.2だけを3番目の変数と相関させる場合、合計と3番目の変数との相関関係を.52にするにはどうすればよいですか？

例2：2つの変数と3番目の変数の間の多重相関とは何ですか？

ギルフォードの1965年のテキストの404ページの式16.1を検討してください（以下を参照）。

困惑する発見：同じ状況。両方の変数が.2を3番目の変数と相関させ、-。7を互いに相関させる場合、式の値は.52になります。2つの変数がそれぞれ.2だけを3番目の変数と相関させる場合、合計と3番目の変数との相関関係を.52にするにはどうすればよいですか？

ちょっとしたモンテカルロシミュレーションを試したところ、ギルフォードの公式の結果が確認できました。

しかし、2つの予測子がそれぞれ3番目の変数の分散の4％を予測する場合、それらの合計は分散の1/4をどのように予測できますか？

出典：心理学と教育の基礎統計、第4版、1965年。

明確化

私が対処している状況には、現在の能力の測定に基づいて、個々の人々の将来のパフォーマンスを予測することが含まれます。

以下の2つのベン図は、状況に対する私の理解を示しており、私の困惑を明確にするためのものです。

このベン図（図1）は、x1とCの間のゼロ次r = .2を反映しています。私の分野では、基準を適度に予測するこのような予測変数が多数あります。

このベン図（図2）は、それぞれr = .2でCを予測する2つの予測子x1とx2と、負の相関がある2つの予測子r =-。7を反映しています。

Cの分散の25％を一緒に予測する2つのr = .2予測子間の関係を想像するのに途方に暮れています。

x1、x2、およびCの関係を理解するのに役立ちます。

（私の質問に対する回答で示唆されたように）x2がx1のサプレッサー変数として機能する場合、2番目のベン図のどの領域が抑制されますか？

具体的な例が役立つ場合、x1とx2は2人の人間の能力であり、Cは4年後の4年制大学GPAであると考えることができます。

サプレッサー変数が、2つのr = .2ゼロ次rの8％の説明された分散を引き起こし、Cの分散の25％を拡大して説明する方法を想像するのに問題があります。具体的な例は非常に役立つ答えです。

これは、2つの予測子の両方に大きな迷惑要因が含まれるが、符号が反対の場合に発生する可能性があるため、それらを加算すると迷惑がキャンセルされ、3番目の変数により近いものが得られます。

さらに極端な例で説明しましょう。仮定する独立した標準正規確率変数です。さあ$X, Y \sim N(0,1)$

$A = X$

$B = -X + 0.00001Y$

言うあなたの3番目の変数であることを起こる、A 、Bは、あなたの2つの予測因子である、そしてXは、あなたがについて何も知らない潜在変数です。AとYの相関は0で、BとYの相関は非常に小さく、0.00001に近い*。しかし、A + BとYの相関は1です。$Y$$A, B$$X$$A+B$$Y$

* Bの標準偏差が1を少し超えると、わずかな修正が行われます。

3つの変数を他の無相関変数の線形結合であると考えると便利です。 洞察を改善するために、幾何学的にそれらを描写し、代数的にそれらを操作し、必要に応じて統計的な説明を提供します。

次に、3つの無相関のゼロ平均、単位分散変数、Y、およびZを考えます。これらから次を構築します。$X$$Y$$Z$

$$U = X,\quad V = (- 7 X + \sqrt{51}Y )/10;\quad W=(\sqrt{3} X + \sqrt{17} Y + \sqrt{55}Z)/\sqrt{75}.$$

幾何学的な説明

次の図は、これらの変数間の関係を理解するために必要なすべてのものです。

この擬似3Dダイアグラムは、X 、Y 、Z座標系の、V、W、およびU + Vを示しています。ベクトル間の角度は、それらの相関を反映します（相関係数は角度の余弦です）。UとVの間の大きな負の相関は、それらの間の鈍角に反映されます。UおよびVとWの小さな正の相関関係は、垂直に近いことに反映されています。ただし、UとVの合計はWの直下になり$U$$V$$W$$U+V$$X,Y,Z$$U$$V$$U$$V$$W$$U$$V$$W$、鋭角（約45度）を作る：予想外に高い正の相関があります。

---

代数計算

より厳密にしたい人のために、グラフィックのジオメトリをバックアップする代数を以下に示します。

それらの平方根はすべて、、V、およびWにも単位分散を持たせるためにあります。これにより、相関は共分散に等しくなるため、相関を簡単に計算できます。だから$U$$V$$W$

$$\operatorname{Cor}(U, V) = \operatorname{Cov}(U,V) = \mathbb{E}(UV) = \mathbb{E}(\sqrt{51}XY- 7 X^2)/10 = -7/10 = -0.7$$

なぜならとYが無相関です。同様に、$X$$Y$

$$\operatorname{Cor}(U,W) = \sqrt{3/75} = 1/5 = 0.2$$

そして

$$\operatorname{Cor}(V,W) = (-7\sqrt{3} + \sqrt{15}\sqrt{17})/(10\sqrt{75}) = 1/5 = 0.2.$$

最後に、

$$\operatorname{Cor}(U+V,W) = \frac{\operatorname{Cov}(U+V,W)}{\sqrt{\operatorname{Var}(U+V)\operatorname{Var}(W)}} = \frac{1/5 + 1/5}{\sqrt{\operatorname{Var}(U) + \operatorname{Var}(V) + 2\operatorname{Cov}(U,V)}} = \frac{2/5}{\sqrt{1 + 1 - 2(7/10)}} = \frac{2/5}{\sqrt{3/5}}\approx 0.5164.$$

したがって、これらの3つの変数には、必要な相関関係があります。

---

統計的説明

これで、すべてが正常に機能する理由を確認できます。

• 及び Vは、の強い負の相関有する - 7 / 10ので、 Vが負に比例する Uプラスの小さな複数の形で少し「ノイズ」 Y。$U$$V$$-7/10$$V$$U$$Y$

• および Wは弱い正の相関有する 1 / 5ので、 Wが小さな複数含む Uプラスの倍数の形で多くのノイズ Y及び Zを。$U$$W$$1/5$$W$$U$$Y$$Z$

• 及び Wは弱い正の相関有する 1 / 5ので、 W（乗じた場合$V$$W$$1/5$$W$は、相関関係を変更しません）は、次の3つのことの合計です。$\sqrt{75}$

  • 、これはVと正の相関があります。$\sqrt{17}Y$$V$
  • 、Vとの負の相関により全体的な相関が減少します$-\sqrt{3}X$$V$
  • そして、倍数は多くのノイズをもたらします。$Z$

• それでも、はWとかなり正の相関があります。これは、Zを含まないWの部分の倍数であるためです。$U+V = (3X + \sqrt{51}Y)/10 = \sqrt{3/100}(\sqrt{3}X + \sqrt{17}Y)$$W$$W$$Z$

別の簡単な例：

• してみましょう$z \sim \mathcal{N}(0,1)$
• ましょう$x_1 \sim \mathcal{N}(0,1)$
• ましょう（したがって、Z = X 1 + X $x_2 = z - x_1$$z = x_1 + x_2$）

次に：

• $\mathrm{Corr}(z, x_1) = 0$
• $\mathrm{Corr}(z, x_2) \approx .7$
• $\mathrm{Corr}(z, x_1 + x_2) = 1$

幾何学的に、起こっていることはWHuberのグラフィックのようです。概念的には、次のようになります。

（数学のキャリアのある時点で、ランダム変数がベクトルであり、が内積であるため、相関は2つのランダム変数間の角度のコサインであることがわかります。）$E[XY]$

と zは相関関係がないため、直交しています。してみましょう θは、 2つのベクトル間の角度を表します。$x_1$$z$$\theta$

• $\mathrm{Corr}(z, x_1) = \cos \theta_{zx_1} = 0 \quad \quad \theta_{z,x_1} = \frac{\pi}{2}$
• $\mathrm{Corr}(z, x_2) = \cos \theta_{zx_2} \approx .7 \quad \quad \theta_{z,x_2} = \frac{\pi}{4}$
• $\mathrm{Corr}(z, x_1 + x_2) = \cos \theta_{z,x_1+x_2} = 1 \quad \quad \theta_{z, x_1 + x_2} = 0$

コメントFloundererの答えをでの議論に接続するには、と思う、いくつかの信号として- X 1、いくつかのノイズ、ノイズの多い信号としてのx 2信号の和としてZとノイズ- X 1。追加のx 1に対してX 2はノイズ減算と等価である- X 1は、ノイズの多い信号からX 2。$z$$-x_1$$x_2$$z$$-x_1$$x_1$$x_2$$-x_1$$x_2$

コメントへの対応：

数学にも関わらず、合計に入る2つの変数のそれぞれが予測するが、その3番目の変数の分散の4％の場合、3番目の変数の分散の25 +％を説明する2つの変数の合計の論理はまだ表示されません。2つの変数を追加するだけで、8％の説明付き分散を25％の説明付き分散にすることができますか？

ここでの問題は、「分散が説明される」という用語のようです。統計の多くの用語と同様に、これは実際よりも意味があるように聞こえるように選択されています。

$Y$

$$y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)$$

$U$$Y$$R$$R$$Y$

$$r = (-20, -80, 100, 90, 50, 70, 40, 30, 40, 60)$$

$U = R + 0.1Y$

$$u = (-19.4, -79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)$$

$V=-R+0.1Y$

$$v = (20.6, 80.7, -99.6, -89.2, -49.1, -69.4, -39.4, -29.7, -39.5, -59.0)$$

$U$$V$$Y$$r$$0.2Y$$Y$

$Y$$U$$U$$R$$V$$R$$Y$$U+V$

$A$$B$$B$$A$