条件とするOLS推定量の分散を計算するにはどうすればよいですか?


17

であることを知ってい これは分散を計算したときに得られる距離です。

β0^=y¯β1^x¯

Var(β0^)=Var(y¯β1^x¯)=Var((x¯)β1^+y¯)=Var((x¯)β1^)+Var(y¯)=(x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2i=1n(xix¯)2

しかし、それは私が得た限りです。私が計算しようとしている最終的な式は

Var(β0^)=σ2n1i=1nxi2i=1n(xix¯)2

私が取得するかどうかはわかりません私の数学と仮定するとそこに正しいアップしています。

(x¯)2=1ni=1nxi2

これは正しい道ですか?

(x¯)2=(1ni=1nxi)2=1n2(i=1nxi)2

私はそれが簡単だと確信しているので、誰かが私を正しい方向に進めるヒントを持っているなら、答えは少し待つことができます。


2
これは正しい道ではありません。4番目の式は成り立ちません。たとえば、、、および場合、左の項はゼロで、右の項はです。問題は、分散を分割するステップから生じます(2番目の方程式の3行目)。理由がわかりますか?、X 2 = 0 、X 3 = 1 2 / 3x1=1x2=0x3=12/3
QuantIbex

Quantlbexポイントへのヒント:分散は線形関数ではありません。加法性とスカラー乗算の両方に違反します。
デビッドマルクス

@DavidMarxそのステップは、私が思うに、その後、私の代わりに一度のためにあると(これのために何をすべきかではないことを確認しかし、私はもっとそれについて考えましょう)、それは私を上に置く必要があります正しい道を願っています。^ β 1 ˉ Y
=Var((x¯)β1^+y¯)=(x¯)2Var(β1^)+y¯
β1^y¯
MT

これは正しくありません。合計の分散が分散の合計と等しくなるために必要な条件について考えてください。
QuantIbex

2
いいえ、であるため、はランダムです。ここで、は(ランダムな)ノイズを示します。しかし、OK、以前のコメントは誤解を招くかもしれません。また、場合、及び示す定数。 YI=β0+β1XI+εεVRX+B=2VRXBy¯yi=β0+β1xi+ϵϵVar(aX+b)=a2Var(X)ab
QuantIbex

回答:


19

これは自習用の質問なので、解決策を見つけるのに役立つヒントを提供します。フィードバック/進行状況に基づいて回答を編集します。

平方和を最小化するパラメーター推定値は、 の分散を取得するには、その式から始めて式を置き換え、代数 β0β1VRβ0=VRˉY-β1ˉX=...

β^0=y¯β^1x¯,β^1=i=1n(xix¯)yii=1n(xix¯)2.
β^0β^1
Var(β^0)=Var(Y¯β^1x¯)=

編集:
我々は持っている 2つの分散項は および あり、共分散項は VR ˉ Y=VR 1

Var(β^0)=Var(Y¯β^1x¯)=Var(Y¯)+(x¯)2Var(β^1)2x¯Cov(Y¯,β^1).
Var(Y¯)=Var(1ni=1nYi)=1n2i=1nVar(Yi)=σ2n,
Var(β^1)=1[i=1n(xix¯)2]2i=1n(xix¯)2Var(Yi)=σ2i=1n(xix¯)2,
Cov(Y¯,β^1)=Cov{1ni=1nYi,j=1n(xjx¯)Yji=1n(xix¯)2}=1n1i=1n(xix¯)2Cov{i=1nYi,j=1n(xjx¯)Yj}=1ni=1n(xix¯)2i=1n(xjx¯)j=1nCov(Yi,Yj)=1ni=1n(xix¯)2i=1n(xjx¯)σ2=0
ので。 それ以来 i=1n(xjx¯)=0
i=1n(xix¯)2=i=1nxi22x¯i=1nxi+i=1nx¯2=i=1nxi2nx¯2,
我々は
Var(β^0)=σ2n+σ2x¯2i=1n(xix¯)2=σ2ni=1n(xix¯)2{i=1n(xix¯)2+nx¯2}=σ2i=1nxi2ni=1n(xix¯)2.

編集2

なぜ ですか?var(i=1nYi)=i=1nVar(Yi)

想定されるモデルは。ここで、は独立しており、および。Yi=β0+β1Xi+ϵiϵiE(ϵi)=0var(ϵi)=σ2

サンプルをすると、がわかります。ランダムな用語はのみです。ランダム変数と定数に対して、ことを思い出してください。したがって、 4番目の等式はXiϵiZavar(a+Z)=var(Z)

var(i=1nYi)=var(i=1nβ0+β1Xi+ϵi)=var(i=1nϵi)=i=1nj=1ncov(ϵi,ϵj)=i=1ncov(ϵi,ϵi)=i=1nvar(ϵi)=i=1nvar(β0+β1Xi+ϵi)=i=1nvar(Yi).
cov(ϵi,ϵj)=0のためのの独立によって。ijϵi

わかった!この本は手順を提案しており、各手順を個別に証明することができました(私は思う)。私はそれを助けるために中間の結論を証明しなければならなかったので、ただ座ってこのステップからそれを削るほど満足ではありませんが、私はすべてがよさそうだと思います。
MT

提案されたアプローチの開発については、編集を参照してください。
QuantIbex

合計の分散は、このステップの分散の合計に等しくなります。 のでため独立しており、このことは意味として独立していますまあ、そうですか?
Var(Y¯)=Var(1ni=1nYi)=1n2i=1nVar(Yi)
XiYi
MT

また、このステップで共分散から定数を因数分解することができます: 両方の要素にない場合でも共分散の式は乗法的だからですよね?
1n1i=1n(xix¯)2Cov{i=1nYi,j=1n(xjx¯)Yj}
MT

1
@oort、分子には、同じ(および等しい)項の合計があるため、分子はです。nσ2nσ2
QuantIbex

1

わかった!さて、助けを借りて。式を証明するときに作業する手順を提供する本の部分を見つけました(ありがたいことに実際にはうまくいきませんが、そうでなければ私はしないように誘惑されます実際に証明を行います)。私はそれぞれ別々のステップを証明しましたが、うまくいったと思います。Var(β^0)

私は本の表記法を使用しています。これは 、はエラー用語です。

SSTx=i=1n(xix¯)2,
ui

1)がここでと。β^1β^1=β1+i=1nwiuiwi=diSSTxdi=xix¯

私たちはそれを知っているので、これは簡単でした

β^1=β1+i=1n(xix¯)uiSSTx=β1+i=1ndiSSTxui=β1+i=1nwiui

2)パート1をとともに使用して、とが無相関であること、つまり。i=1nwi=0β1^u¯E[(β1^β1)u¯]=0

E[(β1^β1)u¯]=E[u¯i=1nwiui]=i=1nE[wiu¯ui]=i=1nwiE[u¯ui]=1ni=1nwiE(uij=1nuj)=1ni=1nwi[E(uiu1)++E(uiuj)++E(uiun)]

はiidであるため、場合、です。uE(uiuj)=E(ui)E(uj)ji

場合、なので、次のようになります。j=iE(uiuj)=E(ui2)

=1ni=1nwi[E(ui)E(u1)++E(ui2)++E(ui)E(un)]=1ni=1nwiE(ui2)=1ni=1nwi[Var(ui)+E(ui)E(ui)]=1ni=1nwiσ2=σ2ni=1nwi=σ2nSSTxi=1n(xix¯)=σ2nSSTx(0)=0

3)をとして記述できることを示します。これも非常に簡単に思えました。β0^β0^=β0+u¯x¯(β1^β1)

β0^=y¯β1^x¯=(β0+β1x¯+u¯)β1^x¯=β0+u¯x¯(β1^β1).

4)パート2と3を使用して、: Var(β0^)=σ2n+σ2(x¯)2SSTx

Var(β0^)=Var(β0+u¯x¯(β1^β1))=Var(u¯)+(x¯)2Var(β1^β1)=σ2n+(x¯)2Var(β1^)=σ2n+σ2(x¯)2SSTx.

とは無相関であるため、それらの間の共分散はゼロであるため、合計の分散は分散の合計であるため、これはすべてうまくいくと思います。は定数であるため、後の計算でと同様にドロップアウトします。u¯β1^β1β0β1

5)代数と:SSTxn=1ni=1nxi2(x¯)2

Var(β0^)=σ2n+σ2(x¯)2SSTx=σ2SSTxSSTxn+σ2(x¯)2SSTx=σ2SSTx(1ni=1nxi2(x¯)2)+σ2(x¯)2SSTx=σ2n1i=1nxi2SSTx

ポイント1にタイプミスがあるかもしれません。は読むべきだと思います。var(β^)β^
QuantIbex

表記法を明確にし、とを指定することができます。uiSSTx
QuantIbex

S S T x xuiはエラー項で、は総平方和(編集で定義)です。SSTxx
MT

1
ポイント1では、最後の2行にという用語がありません。β1
QuantIbex

1
ポイント2では、期待からことはできません。定数ではありません。u¯
QuantIbex
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.