相互作用の変数間の相関関係は重要ですか？

モデルを近似するとします。とが相関している場合、相互作用効果の推定に実際的な影響はありますか？$y = x_1 + x_2 + x_1\times x_2$$x_1$$x_2$

とが非常に相関している場合、共線性の問題が発生する可能性があることを理解していますが、それは相互作用項に影響を与えるべきではありませんか？$x_1$$x_2$

統計コンサルタントが相互作用を線形モデルに導入すると相関構造に悪影響を及ぼす可能性がある理由を説明できなかった理由があります。それは状況に依存し、一般に悪影響があるとは限りません。 下の散布図の行列に示されているデータセットを見て、2つの変数がそれらの積に関連している可能性があるさまざまな方法をすべて確認してください。

この投稿の残りの部分では、これらの数値がどのようにして生成されたかを説明し、状況についてより多くの洞察を提供する可能性があります。

---

まず、明らかな方法を説明します$x_3=x_1x_2,$書くと、3つの変数含む重回帰があります 共線性の問題があるかどうかは、間の線形関係に依存し それは普遍的です。$x_1, x_2, x_3.$$x_i.$

何が特別なのこの問題については関係ありおよびその他のつまり、 したがって、誰かがあなたに注意するように忠告した場合、この乗法関係はすべての間である種の多重共線性を数学的に伴うことが予想されるため$x_3$$x_i;$$x_3 = x_1x_2.$$x_i.$

これは、すべての可能なパターンを示すことによって実証できるように、そうではありません。私はすべての可能性を通り抜けるという一歩一歩であなたを疲れさせたくないので、最も例示的なもののいくつかをスケッチしましょう。この研究で使用する基本的なツールは、個別に線形変換を行った場合、変数間の相関は変わらない$x_1, x_2$$x_i$という観測です。 つまり、どちらの変数にも定数を自由に乗算し、相関関係を変更せずに結果に他の定数を追加できます。ただし、これらの操作は$x_1x_2$とx iの間の相関関係を大きく変える可能性があります。$x_i.$

（ほぼ）一定の積

$x_1x_2$が一定である可能性があります（これは、回帰に定数が含まれる場合、問題になります）。例を作成するには、$x_1$ゼロ以外の値を生成し、$x_2 = c/x_1.$を定義します。 それらの積は、構造上$c$等しくなります。

この例を混乱させるには、$c\ne 0$を$c.$近い値を持つ確率変数に変更します。 これを行うと、$x_i$とそれらの積の間に少しの相関が生じますが、それほどではありません。ここで、例えば、一例であり、$x_1$ガンマから引き出されている$(5)$分布と$c$の平均の正規分布有し、$1$だけの標準偏差$1/100:$

が$x_i$の相関有し$\rho_{1\cdot 2}=-0.87$この例では、との相関$x_1x_2$のみである$-0.06$と$0.00.$

したがって、線形モデルで$x_1$と$x_2$両方を使用すると少し問題が発生する可能性がありますが、$x_1x_2$を含めると問題が悪化することはほとんどありません。

非定積

計算をより明確にするために、$x_i$に単位分散があると仮定することもできます。分散をさせ$x_1x_2$である$\tau^2$及び書き込み$\rho_{12\cdot i}$間の相関のために$x_1x_2$及び$x_i.$ 定数$c_i$が$x_i.$から差し引かれたときにこれらの相関関係がどうなるかを計算してみましょう。$x_i$は完全に対称的な役割を果たすので（ " $1$ "を " 2 "に交換するだけです）$2$"インデックスで）、x 1との相関を計算するだけで十分です：$x_1:$

$$\eqalign{ \operatorname{Cor}((x_1-c_1)(x_2-c_2), x_1) &= \frac{\operatorname{Cov} ((x_1-c_1)(x_2-c_2), x_1)}{\sqrt{\operatorname{Var}{(x_1-c_1)(x_2-c_2)}\operatorname{Var}{x_1}}} \\ &= \frac{\operatorname{Cov} (x_1x_2 - c_2x_1 - c_1x_2+c_1c_2, x_1)}{\sqrt{\operatorname{Var}(x_1x_2 - c_1x_2 - c_2x_1 + c_1c_2)}} \\ &= \frac{\tau\rho_{12\cdot 1}-c_2-c_1\rho_{1\cdot 2}}{\sqrt{\tau^2 - c_1\rho_{1\cdot 2} - c_2 - 2c_1\rho_{12\cdot 2} - 2c_2\rho_{12\cdot 1} + 2c_1c_2\rho_{1\cdot 2}}}.\tag{*} }$$

製品とのゼロ相関

かかわらずの間に相関関係が何の$x_i$、あるかもしれない私たちが選択することができます$(c_1,c_2)$製品は無相関にするために$x_i.$

前述の分析から、これは、分子のがときに達成されるであろう$(*)$はゼロであり、$i=1,2:$

$$\left\{\matrix{0 = \tau\rho_{12\cdot 1} -c_2 - c_1\rho_{1\cdot 2} \\ 0 = \tau\rho_{12\cdot 2} -c_1 - c_2\rho_{1\cdot 2}}\right.$$

場合$\rho_{1\cdot 2}^2 \ne 1,$で方程式のこのシステム$(c_1,c_2)$一意の解を有します。ここで、例えば、のデータセットの散布図行列で$100$れた値$(x_i)$の相関関係を有する二変量正規分布を有する$\rho_{1\cdot 2}=-0.99$が、$x_i$ゼロ相関有し$x_1x_2$：

$x_1x_2$$x_i,$

$x_i$

製品との強い相関

$(*)$$x_i$$x_i,$

$x_2$$1 + x_2 / 100$$x_1x_2$$x_1,$$x_1x_2.$$\rho_{12\cdot 1} = 0.999878$$\rho_{12\cdot 2} = -0.9898793$