回帰係数の共分散の解釈は何ですか？

Rのlm関数は、回帰係数の推定共分散を出力できます。この情報から何が得られますか？モデルをよりよく解釈したり、モデルに存在する可能性のある問題を診断したりできますか？

r multiple-regression least-squares

— mss
ソース

他のすべての共分散と同じ解釈---線形共分散？主な用途は、たとえばコントラストをテストするために、選択した関心のあるコントラストの分散を計算することです。

— kjetil bハルヴォルセン

回答:

共分散行列の最も基本的な使用法は、回帰推定の標準誤差を取得することです。研究者が個々の回帰パラメータ自体の標準誤差のみに関心がある場合、対角線の平方根を取得して個々の標準誤差を取得できます。

ただし、多くの場合、回帰パラメーターの線形結合に興味があるかもしれません。たとえば、特定のグループのインジケータ変数がある場合、グループの平均に興味があるかもしれません。

。 $\beta_0 + \beta_{\rm grp}$

次に、そのグループの推定平均の標準誤差を見つけるには、次のようにします

、 $\sqrt{X^\top S X}$

ここで、はコントラストのベクトル、は共分散行列です。我々の場合には、我々は唯一の付加共変量「GRP」を持っている場合、（切片のため、グループに属するため）。 $X$ $S$ $X = (1,1)$ $1$ $1$

さらに、共分散行列（または、共分散行列から一意に識別される相関行列）は、特定のモデル診断に非常に役立ちます。2つの変数が高度に相関している場合、それを考える1つの方法は、モデルがどの変数が効果の原因であるかを判断するのに苦労していることです（それらは非常に密接に関連しているため）。これは、予測モデルで使用する共変量のサブセットの選択など、さまざまな場合に役立ちます。2つの変数の相関が高い場合は、予測モデルで2つのうちの1つのみを使用できます。

— クリフAB
ソース

ご説明ありがとうございます。最後の段落では、独立変数の共線性が高い場合に発生する可能性のある問題について説明しています。実際の共分散/相関を見ることが容易になるように思える

よりS

秒。

X

$X$

β

$\beta$

式における逆があります。

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

— mss

回帰係数には2つの「種類」があります。

データの基になるデータ生成プロセスを記述する「真の」回帰係数（通常は示されます）。これらは固定数、つまり「パラメーター」です。例としては、光の速度があり。これは、（想定しているように）アクセス可能な宇宙のどこでも常に同じです。 $\beta$ $c$
推定された回帰係数（通常表記で示さ又はデータのサンプルから計算されます）。サンプルはランダム変数のコレクションであるため、推定された回帰係数もランダム変数です。例は、実験で得られた推定値です。 $b$ $\hat \beta$ $c$

次に、共分散の意味を考えます。任意の2つの確率変数と $X$ ます。もし大きな絶対値を描画するときは常に、同じ方向に大きな絶対値を描画することも期待できます。ここで「高い」とは、コメントで指摘されているように、と変動量に関連することに注意してください。 $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

2つの回帰係数の（推定）共分散の共分散で推定、。推定係数間の共分散 $b$ とが高い場合、が高いサンプルでは、も高いことが期待できます。よりベイズ的な意味では、はに関する情報が含まれています。 $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

「高」は相対的であることに再度注意してください。ここで、「は高い」とは「がその標準誤差に対して高い」ことを意味し、共分散が「高い」とは「標準誤差の積に対して高い」ことを意味します。これらの解釈上の問題を滑らかにする1つの方法は、標準偏差（場合によっては2つの標準偏差）で割ることによって、各回帰入力を標準化することです。 $b_1$ $b_1$

このサイトにあるユーザが記述「ファッジのビット」としてではなく、私は完全に同意しません。一つには、この解釈を使用して、ベイジアン回帰の有益な事前確率を考え出すことができます。 $\mathrm{Cov}\left(b_1,b_2\right)$

これが実際に何に使用されるかについては、Cliff ABの答えは良い要約です。

— シャドウトーカー
ソース

これはいいことですが、共分散が相関関係であるかのように解釈することに少し悩んでいます。違いは知っていますが、はっきりとはわかりません。「ごまかし」のコメントに異議を唱えたことも嬉しい。実際、共分散

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

@whuberありがとう、実際にある時点で「相関」を書いた。電話を降りたらクリーンアップします

— シャドウトーカー

私はしばらくこのスレッドに戻らないかもしれないので、編集のために事前に+1してください！

— whuber

私の説明でも同じ間違いをしました！

— クリフAB

@whuber現在、私は実際に共分散についての自分自身の理解を推測しています。私の問題は、スケールが異なる可能性があるという事実を強調しなかったということですか、それとも他に何かが欠けていますか？私はあなたの「ボックス」の説明に出くわしましたが、それが何であるか

— わかり