一般化された最小二乗：回帰係数から相関係数へ？

1つの予測子を持つ最小二乗の場合：

$y = \beta x + \epsilon$

とがフィッティングの前に標準化されている場合（つまり、）、次のようになります。 $x$ $y$ $\sim N(0,1)$

$\beta$ はピアソン相関係数と同じです。 $r$
$\beta$ は反映された回帰で同じです： $x = \beta y + \epsilon$

一般化された最小二乗（GLS）の場合、同じことが当てはまりますか？つまり、データを標準化した場合、回帰係数から直接相関係数を取得できますか？

データの実験から、反映されたGLSはさまざまな係数を導き、また、回帰係数が相関の期待値と一致していると確信していません。私は人々がGLS相関係数を引用しているのを知っているので、彼らがどのようにしてそれらに到達し、それゆえ彼らが本当に何を意味するのか疑問に思っていますか？ $\beta$

— sqrt
ソース

答えは「はい」です。線形回帰係数は、予測子と応答の相関ですが、正しい座標系を使用する場合のみです。

つまり、、が中央に配置され、標準化されている場合、各と間の相関は、ドット積のみであることを思い出してください。また、線形回帰の最小二乗解は $x_1, x_2, \ldots, x_n$ $y$ $x_i$ $y$ $x_i^t y$

β = (X^{t} X)^{- 1} X^{t} y

$\beta = (X^t X)^{-1} X^t y$

そのような場合、次いで（単位行列）を $X^{t} X = I$

β = X^{t} y

$\beta = X^t y$

そして、相関ベクトルを回復します。この関係を真にする元の予測子の適切な線形結合を見つけるによって、を満たす予測子観点から回帰問題をリキャストすることはしばしば魅力的です（または同等に、座標の線形変化）; これらの新しい予測子は主成分と呼ばれます。 $\tilde{x}_i$ $\tilde{X}^t \tilde{X} = I$

したがって、全体として、あなたの質問に対する答えはイエスですが、予測子自体が無相関である場合のみです。それ以外の場合、式

X^{t} X β = X^{t} y

$X^t X \beta = X^t y$

は、予測因子と応答の相関を回復するために、予測因子同士の相関とベータを混合する必要があることを示しています。

余談ですが、これは、1つの変数線形回帰で常に結果が真になる理由も説明しています。予測ベクトルが標準化されると、次のようになります。 $x$

x_{0}^{t} x = \sum_{i} x_{i} = 0

$x_0^t x = \sum_i x_{i} = 0$

ここで、はすべて1の切片ベクトルです。したがって、（2列の）データ行列自動的に満たし、結果は次のようになります。 $x_0$ $X$ $X^t X = I$

— マシュードゥルーリー
ソース