回帰係数の推定値は無相関ですか？

11

（正常ではないと仮定）単回帰を考える：平均であると標準偏差。との最小二乗推定は無相関ですか？

Y_{i} = a + b X_{i} + e_{i},

$Y_i = a + b X_i + e_i,$

e_{i}

$e_i$

0

$0$

σ

$\sigma$

a

$a$

b

$b$

regression correlation estimation

— アルナブ
ソース

2

どう思いますか？en.wikipedia.org/wiki/Ordinary_least_squares、「Finite sample properties」セクション。この質問は、このサイトで何度も回答されました。

— mpiktas 2014年

回答:

15

これは、（または非常に少ない）の推定値の間の相関関係がないことが望ましいことができ、実験を設計する上で重要な考慮事項ですと。このような相関の欠如は、値を制御することで実現できます。 $\hat a$ $\hat b$ $X_i$

効果を分析するために推定には、値（長さの行ベクトルである）マトリックスに垂直に組み立てられる、設計行列をデータ（が明らかに存在するように多くの行として有します）2つの列。対応するは、1つの長い（列）ベクトルアセンブルされます。これらの用語では、組み立てられた係数に対してを書くと、モデルは $X_i$ $(1,X_i)$ $2$ $X$ $Y_i$ $y$ $\beta = (a,b)^\prime$

E (Y) = X \cdot β

$\mathbb{E}(Y) = X \cdot \beta$

（通常は）その分散一定で独立ランダム変数であると仮定されているいくつかの未知のための。従属観測は、ベクトル値確率変数 1つの実現であると見なされます。 $Y_i$ $\sigma^2$ $\sigma \gt 0$ $y$ $Y$

OLSソリューションは

\hat{β} = {(X^{'} X)}^{- 1} X^{'} y,

$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$

この行列の逆が存在すると仮定します。したがって、行列の乗算と共分散の基本的なプロパティを使用して、

Cov (\hat{β}) = Cov ({(X^{'} X)}^{- 1} X^{'} Y) = ({(X^{'} X)}^{- 1} X^{'} σ^{2} X {(X^{'} X)}^{- 1'}) = σ^{2} {(X^{'} X)}^{- 1} .

$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$

行列は、モデルのパラメーターに対応する2つの行と2つの列しかありません。との相関は、非対角要素に比例します。これは、クラマーの法則により、 2つの列のドット積に比例します。列の1つはすべてであり、他の列とのドット積（からなる）はそれらの合計なので、次のようになります。 $\left(X^\prime X\right)^{-1}$ $(a,b)$ $\hat a$ $\hat b$ $(X^\prime X)^{-1},$ $X$ $1$ $X_i$

$\hat a$ とは、の合計（または同等に平均）のみがゼロである場合に相関しません。 $\hat b$ $X_i$

この直交性の条件は、（各平均からそれらの平均を差し引くことによって）再中心化することによって頻繁に達成されます。これは推定勾配変更しませんが、推定切片変更します。それが重要かどうかは、アプリケーションによって異なります。 $X_i$ $\hat b$ $\hat a$

計画行列があります：Tthis分析は、複数の回帰に適用されの列独立変数を（追加の列がで構成されて秒）と長さのベクトルになり、それ以外はすべてが以前のように通過します。 $p+1$ $p$ $1$ $\beta$ $p+1$

従来の言語では、 2つの列は、それらのドット積がゼロのときに直交と呼ばれます。 1つの列（たとえば、列）が他のすべての列に直交する場合、行と列のすべての非対角要素が対角線上にあることは簡単に証明されますはゼロです（つまり、すべてののおよびコンポーネントはゼロです）。したがって、 $X$ $X$ $i$ $i$ $i$ $(X^\prime X)^{-1}$ $ij$ $ji$ $j\ne i$

2つの多重回帰係数推定とは、設計行列の対応する列のいずれか（または両方）が他のすべての列と直交している場合は常に無相関です。 $\hat\beta_i$ $\hat\beta_j$

多くの標準的な実験計画では、独立変数の値を選択して、列を相互に直交させます。これは、データが収集される前に、推定値が無相関であることを保証することにより、結果の推定値を「分離」します。（応答に正規分布がある場合、これは推定値が独立していることを意味し、解釈が大幅に簡略化されます。）

— whuber
ソース

その答えは、「[...] Xの2つの列のドット積である非対角要素」を示しています。これはではなくに当てはまりますか？

X^{'} X

$X'X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— ハイゼンベルク

@ハイゼンベルクそれは良い点です。私はこれについてはっきりしていませんでした。2列の場合でも曖昧さはありませんが、列を増やす場合の表示を改善する方法を考える必要があります。

— whuber

@ハイゼンベルグ私はあなたの知覚的な観察に感謝します：それは私が重回帰のケースの議論における実質的なエラーを訂正することを可能にしました。

— whuber

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.