逆関数を計算せずに線形回帰問題の標準誤差を計算する

11

反転するよりも、線形回帰問題の標準誤差をより高速に計算する方法はありますか？ここで、回帰があると仮定します。 $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

ここで、は行列、はベクトルです。 $X$ $n\times k$ $y$ $n\times 1$

最小二乗問題の解決策を見つけるために、で何かを行うことは実用的ではありません。行列 QRまたはSVD分解を直接使用できます。または、勾配法を使用できます。しかし、標準エラーはどうでしょうか？本当に必要なのはの対角線（およびの標準誤差の推定値を計算するためのLS解法）だけです。標準誤差計算のための特定の方法はありますか？ $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization

— mpiktas
ソース

回答:

5

$X$

X = U Σ V^{'},

$X = U\Sigma V',$

$U$ $V$ $\Sigma$

それから

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

（Math.SEの関連する質問に対する回答を参照してください。）

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

— ジェフ・オックスベリー
ソース

+1、私はその素晴らしいSVDプロパティを忘れていました。他の答えが来ない場合、私はこの答えを受け入れます。それは私が得たいと思ったものにかなり近いからです（そして確かに私が得ると期待したものよりもはるかに良いです:)）

— mpiktas

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

最後のコメントを無視してください。エラーがあります。私は正しい式を得た。

— mpiktas

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.