単純な線形回帰における回帰係数の分散を導き出す


38

単純な線形回帰では、。ここで、です。推定量を導き出しました: ここでおよびはおよびサンプル平均です。y=β0+β1x+uuiidN(0,σ2)

β1^=i(xix¯)(yiy¯)i(xix¯)2 ,
x¯y¯xy

ここで、\ hat \ beta_1の分散を見つけたいと思いますβ^1。次のようなものを導き出しました:

Var(β1^)=σ2(11n)i(xix¯)2 .

派生は次のとおりです。

Var(β1^)=Var(i(xix¯)(yiy¯)i(xix¯)2)=1(i(xix¯)2)2Var(i(xix¯)(β0+β1xi+ui1nj(β0+β1xj+uj)))=1(i(xix¯)2)2Var(β1i(xix¯)2+i(xix¯)(uijujn))=1(i(xix¯)2)2Var(i(xix¯)(uijujn))=1(i(xix¯)2)2×E[(i(xix¯)(uijujn)E[i(xix¯)(uijujn)]=0)2]=1(i(xix¯)2)2E[(i(xix¯)(uijujn))2]=1(i(xix¯)2)2E[i(xix¯)2(uijujn)2] , since ui 's are iid=1(i(xix¯)2)2i(xix¯)2E(uijujn)2=1(i(xix¯)2)2i(xix¯)2(E(ui2)2×E(ui×(jujn))+E(jujn)2)=1(i(xix¯)2)2i(xix¯)2(σ22nσ2+σ2n)=σ2i(xix¯)2(11n)

ここで何か間違ったことをしましたか?

行列表記ですべてを行うと、Var(β1^)=σ2i(xix¯)2。しかし、概念を理解するためだけに、マトリックス表記を使用せずに答えを導き出そうとしています。


2
はい、マトリックス表記の式は正しいです。問題の式見ると、母集団標準偏差の代わりにどこかでサンプル標準偏差を使用しているように見えますか?派生を見ることなく、それ以上言うのは難しいです。11n=n1n
トゥートーン14

一般的な回答は、stats.stackexchange.com / questions / 91750の重複スレッドにも投稿されています。
whuber

回答:


35

導出の開始時に、と両方を展開するプロセスで、ブラケットを掛けます。前者は合計変数依存しますが、後者は依存しません。をそのままにしておくと、 Y I ˉ Y I ˉ Y Σ IX I - ˉ Xˉ Yi(xix¯)(yiy¯)yiy¯iy¯

i(xix¯)y¯=y¯i(xix¯)=y¯((ixi)nx¯)=y¯(nx¯nx¯)=0

したがって

i(xix¯)(yiy¯)=i(xix¯)yii(xix¯)y¯=i(xix¯)yi=i(xix¯)(β0+β1xi+ui)

そして

Var(β1^)=Var(i(xix¯)(yiy¯)i(xix¯)2)=Var(i(xix¯)(β0+β1xi+ui)i(xix¯)2),substituting in the above=Var(i(xix¯)uii(xix¯)2),noting only ui is a random variable=i(xix¯)2Var(ui)(i(xix¯)2)2,independence of ui and, Var(kX)=k2Var(X)=σ2i(xix¯)2

それはあなたが望む結果です。


補足として、私はあなたの派生のエラーを見つけるために長い時間を費やしました。最終的に、裁量は勇気のより良い部分であり、よりシンプルなアプローチを試すことが最善であると判断しました。ただし、記録については、このステップが正当化されているかどうかはわかりませんでした 、によるクロスタームを逃しているためです。

=.1(i(xix¯)2)2E[(i(xix¯)(uijujn))2]=1(i(xix¯)2)2E[i(xix¯)2(uijujn)2] , since ui 's are iid
jujn

私はずっと前にもっと簡単なアプローチを使用できることに気付きましたが、概念を理解するために、深く掘り下げ、異なるアプローチを使用して同じ答えを思い付くことに決めました。私は、最初のが正規方程式(最小二乗法からのFOC)なので、に加えて、そう。したがって、そもそもという用語はありません。juj^=0u^¯=iuin=0u^¯=y¯y^¯=0y¯=y^¯jujn
mynameisJEFF 14年

さて、あなたの質問では、行列表記を避けることに重点が置かれました。
TooTone

はい、マトリックス表記を使用して解決できたためです。最後のコメントから、線形代数は使用していません。とにかくあなたの素晴らしい答えをありがとう^。^
mynameisJEFF

申し訳ありませんが、ここで目的を超えて話し合っていますか?私も答えにマトリックス表記を使用しませんでした。そして、それがあなたがあなたの質問で尋ねているものだと思いました。
トゥートーン14年

申し訳ありません(笑)...誤解のために
mynameisJEFF

2

あなたの証明の問題は、の二乗の期待値を取るステップだと思います。これは、フォームである、。したがって、二乗するとます。さて、明示的な計算から、なので、 asi(xix¯)(uijujn)E[(iaibi)2]ai=xix¯;bi=uijujnE[i,jaiajbibj]=i,jaiajE[bibj]E[bibj]=σ2(δij1n)E[i,jaiajbibj]=i,jaiajσ2(δij1n)=iai2σ2iai=0


2

「派生は次のとおりです」から始めてください:7番目の「=」は間違っています。

なぜなら

i(xix¯)(uiu¯)

=i(xix¯)uii(xix¯)u¯

=i(xix¯)uiu¯i(xix¯)

=i(xix¯)uiu¯(ixinx¯)

=i(xix¯)uiu¯(ixiixi)

=i(xix¯)uiu¯0

=i(xix¯)ui

したがって、7番目の「=」の後は次のようになります。

1(i(xix¯)2)2E[(i(xix¯)ui)2]

=1(i(xix¯)2)2E(i(xix¯)2ui2+2ij(xix¯)(xjx¯)uiuj)

=1(i(xix¯)2)2E(i(xix¯)2ui2)+2E(ij(xix¯)(xjx¯)uiuj)

=、なぜならおよびは独立しており、0を意味するため、1(i(xix¯)2)2E(i(xix¯)2ui2)uiujE(uiuj)=0

=1(i(xix¯)2)2(i(xix¯)2E(ui2))

σ2(i(xix¯)2)2


1
答えを編集して正しい行を含めると役立つ場合があります。
mdewey

回答は非常に短いため、低品質として自動的にフラグが付けられます。あなたの答えを拡張することを検討してください
グレン_b-モニカを復活させる
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.