出力と予測子の間に実質的な相関関係がない場合、どのようにして適切な線形回帰モデルを取得できますか？

一連の変数/機能を使用して、線形回帰モデルをトレーニングしました。モデルのパフォーマンスは良好です。しかし、予測変数と良好な相関関係を持つ変数は存在しないことに気付きました。どうして可能ですか？

1組の変数は、高い部分相関（他の変数の影響を説明する相関）を示す場合がありますが、低い（またはゼロの）限界相関（ペアワイズ相関）もあります。

つまり、応答yと予測子xのペアワイズ相関は、他の変数のコレクションの中で（線形）「予測」値を持つ適切な変数を識別する上でほとんど価値がない場合があります。

次のデータを考慮してください。

   y  x
1  6  6
2 12 12
3 18 18
4 24 24
5  1 42
6  7 48
7 13 54
8 19 60

yとxの相関はです。最小二乗線を引くと、完全に水平になり、R 2は自然に0になります。$0$$R^2$$0$

ただし、2つのグループのどちらから観測値が得られたかを示す新しい変数gを追加すると、xは非常に有益になります。

   y  x g
1  6  6 0
2 12 12 0
3 18 18 0
4 24 24 0
5  1 42 1
6  7 48 1
7 13 54 1
8 19 60 1

x変数とg変数の両方を含む線形回帰モデルのは1になります。$R^2$

この種のことは、モデル内のすべての変数で発生する可能性があります。すべてが応答との小さなペアワイズ相関を持ちますが、それらすべてを含むモデルは応答の予測に非常に優れています。

追加の読み物：

https://en.wikipedia.org/wiki/Omitted-variable_bias

https://en.wikipedia.org/wiki/Simpson%27s_paradox

$X_1$$X_2$

$X_2$$X_1$$X_1$$\rho_{x_{1},y|x_{2}}$$y=\beta_1X_1 +\beta_2X_2 + \epsilon$$\rho_{x_{1},y}$

$X$$X$$X$$X$$X$$X={x_1,x_2 ...}$$o_i$$p_i$$c_i$$\sum c_io_i =0$$\sum c_ix_i$$\sum c_io_i =0$$\sum c_ix_i$$X_1$$X_2$$E$$X'_1$$X'_2$$E$$X_1$$X'_1$$X_2$$X'_2$$E$$X'_1$$X'_2$$Y$$Y$