逆関数を計算せずに線形回帰問題の標準誤差を計算する


11

反転するよりも、線形回帰問題の標準誤差をより高速に計算する方法はありますか?ここで、回帰があると仮定します。X′X

y=Xβ+ε,

ここで、はn × k行列、yはn × 1ベクトルです。Xn×kyn×1

最小二乗問題の解決策を見つけるために、で何かを行うことは実用的ではありません。行列Xで QRまたはSVD分解を直接使用できます。または、勾配法を使用できます。しかし、標準エラーはどうでしょうか?本当に必要なのは(X ′ X )− 1の対角線(およびεの標準誤差の推定値を計算するためのLS解法)だけです。標準誤差計算のための特定の方法はありますか?X′XX(X′X)−1ε

回答:


5

X

X=UΣV′,

UVΣ

それから

X′X=VΣ2V′.

(X′X)−1X

(X′X)−1=VΣ−2V′.

(Math.SEの関連する質問に対する回答を参照してください。)

ΣV(X′X)−1nn×nn2O(n3)

X′XX


+1、私はその素晴らしいSVDプロパティを忘れていました。他の答えが来ない場合、私はこの答えを受け入れます。それは私が得たいと思ったものにかなり近いからです(そして確かに私が得ると期待したものよりもはるかに良いです:))
— mpiktas

(X′X)−1O(n2)X

(X′X)−1

Σ

最後のコメントを無視してください。エラーがあります。私は正しい式を得た。
— mpiktas
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.