単純な線形回帰におけるスイッチング応答と説明変数の効果

48

レッツは、間にいくつかの「真」の関係が存在することを言い $y$ 及び $x$ ように $y = ax + b + \epsilon$ 、ここで及び定数であり、 IID正常ノイズです。そのRコードからランダムにデータを生成し、次にのようなモデルに適合させると、明らかにとかなり良い推定値が得られます。 $a$ $b$ $\epsilon$ x <- 1:100; y <- ax + b + rnorm(length(x))y ~ x $a$ $b$

(x ~ y)ただし、変数の役割をinのように切り替えてから、の結果を $y$ 関数に書き換えると、結果の勾配は常に回帰で推定される勾配よりも急（負または正）になります。私はそれがなぜなのかを正確に理解しようとしているので、そこで何が起こっているのかについて誰かが私に直観を与えることができれば感謝しています。 $x$ y ~ x

regression

— グレッグ・アポンテ
ソース

1

一般的にはそうではありません。おそらくあなたはあなたのデータにそれを見ているだけでしょう。次のコードを貼り付けます：y = rnorm（10）; x = rnorm（10）; lm（y〜x）; lm（x〜y）; Rに数回アクセスすると、両方の方向に進むことがわかります。

— マクロ

それは私が説明していたものとは少し異なります。あなたの例では、yはxの関数ではなかったので、実際には「勾配」はありません（私の例では「a」）。

— グレッグアポンテ

LM（yは〜x）にフィットモデル

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$ （エラーは通常IIDあるML推定に相当）最小二乗法による。斜面があります。

— マクロ

2

あなたの質問はstats.stackexchange.com/questions/13126とstats.stackexchange.com/questions/18434で尋ねられ、回答されます。ただし、（a）

Y

$Y$ vs

X

$X$ 回帰、（b）

X

$X$ vs

回帰

Y

$Y$ 、（c）

X

$X$ と

相関の分析

Y

$Y$ 、（d）

X

$X$ と

変数の誤差回帰

Y

$Y$ 、および（e）二変量正規分布を

当てはめる

(X, Y)

$(X,Y)$ 。これはそのような博覧会に適した場所です:-)。

— whuber

2

もちろん、マクロは正しいです。xとyは問題で同等の役割を果たすため、どちらの勾配がより極端であるかは偶然の問題です。ただし、ジオメトリは、（間違って）回帰でxとyを逆にすると、元の勾配のレシピを取得する必要があることを示唆しています。xとyが線形に依存する場合を除いて、それは決して起こりません。この質問は、理由を尋ねていると解釈できます。

— whuber

23

与えられたのデータ点、平面内に、私たちは直線描画せ。我々は予測した場合値としての、その後エラーがある $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ 、二乗誤差は、総二乗誤差です。お願いします $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

とのどの選択が最小化するか？ $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

以来の垂直距離である直線から、我々はこのような点からの垂直距離の二乗の和そのラインを求めています行は可能な限り小さい。今両方の二次関数でありととするとき、その最小値に達すると、そのようなものである $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$ 2番目の式から、得られます

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

は、それぞれ

と

の算術平均値です。最初の式に代入すると、

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$

y_{i}

$y_i$

x_{i}

$x_i$

したがって、最小にする線

として表すことができ

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

我々はの役割交換した場合と、ライン描画、との値を求めると最小つまり、からの点の水平距離の二乗和が行が可能な限り小さい場合、次のようになります $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$ および最小値は

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

両方の線がポイントが、勾配はは一般的に異なります。実際、@ whuberがコメントで指摘しているように、すべてのポイントが同じ直線上にある場合、傾きは同じです。これを確認するには、 $(\mu_x,\mu_y)$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— ディリップ・サルワテ
ソース

ありがとう！abs（correlation）<1は、逆の場合に傾斜が系統的に急になった理由を説明しています。

— グレッグアポンテ

（+1）しかし、私は幾何学的な心を持っているので、あなたが言ったばかりの説明だけで答えを追加しました:)

— エルビス

クラスの返信（+1）

— Digio

39

Dilipの答えを説明するために、次の写真で、

黒い点はデータポイントです。
左側の黒い線は、によって得られた回帰線y ~ xであり、赤い線分の長さの二乗を最小化します。
右側の黒い線は、で得られた回帰線x ~ yで、赤いセグメントの長さの二乗を最小化します。

回帰線

編集（最小矩形回帰）

「応答」と「共変量」を選択する自然な方法がなく、2つの変数が相互に依存している場合は、と対称的な役割を保存することができます。この場合、「最小矩形回帰」を使用できます。 $y$ $x$

通常通り書きます; $Y = aX + b + \epsilon$
示すとの推定に条件との条件に。 $\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
最小化する、 $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

同じデータポイントを使用した図を次に示します。各ポイントについて、「長方形」は2つの赤いセグメントの長さの積として計算され、長方形の合計は最小化されます。このリグレッションの特性についてはあまり知りませんし、グーグルについてもあまり知りません。

最小の長方形

— エルビス
ソース

14

いくつかの注意：（1）誤解がない限り、「最小矩形回帰」は、センタリング後の行列の最初の主成分を取得することにより得られる解と同等であると思われます。ユニットの分散を得るために再スケーリングし、その後、代替します。（続き）

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

— 枢機

14

（続き）（2）このように見て、この「最小矩形回帰」との形態と同等であることを確認することは容易である最小二乗直交（または全体）こうしてと、（3）の特殊なケース回帰デミングにをとる、中央揃えで再スケーリングされたベクトル。直交最小二乗は「最小円回帰」と見なすことができます。

δ = 1

$\delta = 1$

— 枢機

2

@cardinal非常に興味深いコメント！（+1）長軸（reg。lineとすべてのポイント間の垂直距離を最小化、PCAなど）、または長軸の縮小回帰、またはP Legendreによるlmodel2 Rパッケージで例示されているタイプII回帰もここに関連すると考えますこれらの手法は、各変数がどの役割（応答または予測子）であるかを判断するのが難しい場合、または測定エラーを考慮したい場合に使用されるためです。

— -chl

1

@chl：（+1）はい、あなたは正しいと思います。合計最小二乗のウィキペディアのページには、同じ手順の他のいくつかの名前がリストされています。少なくともR. Frisch、完全回帰システムによる統計的合流解析、UniversitetetsØkonomiskeInstituut、1934年に戻ったようで、対角回帰と呼ばれていました。

— 枢機

3

@cardinal Wikipediaのエントリを読むときはもっと注意する必要がありました...将来の参考のために、M。LoganによるBiostatistical Design and Analysis Using Rからの写真を示します（Wiley、2010;図8.4、174）、エルビスの素敵なイラストによく似た、さまざまなアプローチを要約しています。

— -chl

13

1つの回帰で傾きが小さくなる理由を簡単に説明します。両方の勾配は、と標準偏差（と）、およびと相関（）の3つの数値に依存します。を応答とする回帰には勾配あり、を応答とする回帰には勾配があるため、最初の傾きと2番目の傾きの逆数の比は、等しくなります。 $x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

したがって、説明された分散の割合が大きいほど、各ケースから得られる勾配が近くなります。説明される分散の割合は対称であり、単純な線形回帰の二乗相関に等しいことに注意してください。

— 確率論
ソース

1

これを見る簡単な方法は、真のモデル場合、2つの回帰を実行することに注意することです。 $y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

次に、： $b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

したがって、勾配が急になるかどうかは、比率依存します。この比率は、想定される真のモデルに基づいて次と等しくなります。 $\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

他の回答とリンク

この結果を他の人からの回答と結び付けることができます。他の人は、場合、それは逆数であるべきだと言いました。実際、、および（推定誤差なし）、したがって： $R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

したがって、 $b_{x\sim y}=1/\beta$

— マティフォー
ソース

0

入力にノイズがある場合も興味深いものになります（常にそうであると主張できますが、コマンドや観測は完全ではありません）。

単純な線形関係に基づいて、xとyの両方にガウスノイズがある現象を観察するためのシミュレーションを作成しました。次のように観測値を生成しました（Pythonコード）： $x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

異なる結果を参照してください（ここで、odrは直交距離回帰です。つまり、最小矩形回帰と同じです）。

すべてのコードはそこにあります：

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— レベスク
ソース

0

回帰直線は（常に）真の関係と同じではありません

次のような「真の」因果関係があるかもしれません

y = a + b x + ϵ

$y = a + bx + \epsilon$

しかし、回帰線を適合させるy ~ xかx ~ y、その因果関係と同じ意味ではありません（実際には、回帰線の1つの式が因果「真」関係の式と一致する場合もあります）

斜面間のより正確な関係

2つの切り替えられた単純な線形回帰の場合：

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

次のように勾配を関連付けることができます。

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

したがって、勾配は互いに逆ではありません。

直感

その理由は

回帰直線と相関は、必ずしも1対1で因果関係に対応するわけではありません。
回帰直線は、条件付き確率または最良の予測により直接的に関連しています。

条件付き確率は関係の強さに関係していると想像できます。回帰線はこれを反映しており、関係の強さが小さい場合は両方の線の勾配が浅く、関係の強さが強い場合は両方が急勾配になる場合があります。勾配は単純に互いに逆ではありません。

例

2つの変数とが何らかの（因果関係）線形関係によって互いに関連している場合、その関係を完全に逆にするのは良くないことが想像できます特定の値に基づいてを表現する場合。 $X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

の代わりに

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

また使用する方が良いでしょう

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

以下の分布の例を、それぞれの回帰線とともに参照してください。分布は、および多変量正規分布です。 $\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

条件付きの期待値（線形回帰で得られるもの）は

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

この場合、場合は多変量正規分布であり、周辺分布は $X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

したがって、変数Yは、部分および分散部分ノイズであることがわかります。同じことが逆の場合にも当てはまります。 $\rho X$ $1-\rho^2$

相関係数大きいほど、2本の線は近くなります。ただし、相関が低いほど、関係が強くなるほど、線の傾きが少なくなります（これは、両方の線とに当てはまります） $\rho$ Y ~ XX ~ Y

— セクストゥス・エンピリカス
ソース

0

短い答え

単純な線形回帰の目標は、y変数の値が与えられた場合に、x変数の最良の予測を考え出すことです。これは、x変数の値を指定して、変数の最良の予測を考え出すこととは異なる目標yです。

の単純な線形回帰は、y ~ x与えyられxたを予測するための「最良の」可能なモデルを提供します。したがって、モデルを適合させx ~ y、代数的に逆にした場合、そのモデルはのモデルと同様に最適な結果を得ることができy ~ xます。しかし、「最適化された」モデルと比較して、適合モデルの反転x ~ yは通常、y与えられた予測で悪化します。これは、「反転モデル」が異なる目的を満たすために作成されたためです。xy ~ xx ~ y