回帰係数のこのバイアス分散のトレードオフとは何ですか？

9

この論文、（分散コンポーネントのベイズ推論はコントラストエラーのみ使用し、著者の主張、Harville、1974） は「よく知られている」関係」、線形回帰の場合 ここで Y = X β

(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)
ε 〜N（0 、H ）。
y=Xβ+ϵ,
ϵ∼N(0,H).

これはどのように有名ですか？これを証明する最も簡単な方法は何ですか？

regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 
— シブズギャンブル
ソース
1
それは上にあるウィキペディア、そこに「導出」を参照してください。
— user603
@ user603リンクをより明確にしてもよろしいですか？ありがとう！
— Sibbsギャンブル2015
@ user603申し訳ありませんが、リンクがどのように問題を解決するのか本当にわかりません。私の場合、私の場合、方程式はVar（y）= bias + ...です。詳しく説明できますか？
— Sibbsギャンブル2015
4
@SibbsGambling 加重線形回帰のこの公式では、方程式に2つの分散関連の項があることに注意してください。左側の項は、真のモデルの周囲の分散に関連しています（精度行列重み付け）。右側の最初の項は、適合モデルの周りの分散に関連しています。右側の2番目の項は、バイアスの2乗に関連しています。それが分散バイアスのトレードオフです。H−1
— EdM、2015年

回答:

6

方程式の最後の項は次のように書くことができます

(Xβ−Xβ^)′H−1(Xβ−Xβ^).

この形で、方程式は興味深いことを言っています。が正定かつ対称であると仮定すると、その逆も同様です。したがって、内積を定義して、ジオメトリを得ることができます。次に、上記の等式は基本的にと言ってい H<x,y>H−1=x′H−1y

(Xβ−Xβ^)⊥(y−Xβ^).

コメンターがすでに派生へのリンクを残しているので、私はあなたにこの直感の少しを与えたかったのです。

編集：後世のために

LHS：

(y−Xβ)′H−1(y−Xβ)=y′H−1y−2y′H−1Xβ+β′X′H−1Xβ=(A)−(B)+(C)

RHS：

(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)
=y′H−1y−2y′H−1Xβ^+β^′X′H−1Xβ^+βX′H−1Xβ−2β^X′H−1Xβ+β^′X′H−1Xβ^=(A)−(D)+(E)+(C)−(F)+(E)

関係：

β^=(X′H−1X)−1X′H−1y

リレーションを接続すると、（B）=（F）、および2（E）=（D）であることがわかります。すべて完了。

— jlimahaverford
ソース
リンクが問題を解決する方法が本当にわかりません。私の場合、私の場合、方程式はVar（y）= bias + ...です。詳しく説明できますか？
— Sibbsギャンブル
@SibbsGamblingは、導出を含めて私の回答を編集しました。
— jlimahaverford
@jlimahaverfordは、式の最後にあるを忘れていませんか？yβ^
— Gumeo
7

彼らは、正方形の完成と呼ばれる技術によってこのアイデンティティに到達します。左側は2次形式なので、まず乗算します

(y−Xβ)′H−1(y−Xβ)=y′H−1y−2y′H−1Xβ+β′X′H−1Xβ

続けて、点で書き換えます。代数は少し長いですが、ベイジアン回帰で四角形を完成させるグーグルで、たくさんのヒントを見つけることができます。たとえば、ベイジアン線形回帰に関するウィキペディア、およびここにあるように、正方形の完成に関するその他のクロスバリデーションされた回答を参照してください。 β^=(X′H−1X)−1X′H−1y

— bill_e
ソース
2

行列代数がわかっている場合は、すべてを掛け合わせて、両側で実際に同じであることを確認することで、これを実行できます。これはjlimahaverfordが実証したものです。

これを行うには、推定式が必要です。相関のないエラー項がある場合、線形回帰の場合と同様の方法で式を導出できます。コツは標準化することです。β^

多変量正規分布から得られるRVを標準化する方法に関するいくつかの情報を次に示します。があるとしましょう は正定なので、として因数分解できます。ランダム変数 は、分布からます。これで、このトリックを問題に使用してを見つけることができます。因数分解してみましょう。我々は 今は次のように標準化されていますΣ Σ = P P T Y = P - 1（X - μ ）

X∼N(μ,Σ).
ΣΣ=PPT
Y=P−1(X−μ)
N(0,I)β^H=PPT
y=Xβ+ϵP−1y=P−1Xβ+P−1ϵ
ϵcov(P−1ϵ)=Iなので、これを単純な重線形回帰モデルとして扱うことができます。ここで、 我々は回帰問題があるので： ための式である これがキーですこれで、残りはjlimahaverfordの解で示された代数的操作です。
X~=P−1X,y~=P−1yandϵ~=P−1ϵ.
y~=X~β+ϵ~
β^
β^=(X~TX~)−1X~Ty~=((P−1X)TP−1X)−1(P−1X)TP−1y=(XT(PPT)−1X)−1X(PPT)−1y=(XTH−1X)−1XH−1y
— グメオ
ソース
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.