重み付き最小二乗重みの定義：R lm関数と

R重み付けされた最小二乗法とマトリックス演算による手動のソリューションから異なる結果が得られる理由を誰かに教えてもらえますか？

具体的には、を手動で解決しようとしています。ここで、は重みの対角行列、はデータ行列、は応答ですベクター。 $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

引数R lmを使用して結果を関数と比較しようとしていweightsます。

— ハイタオ・ドゥ
ソース

私はタグを編集しました：これは間違いなく[自習]ではありませんでした。また、実際にはGLSに関するものではありません（ただし、非常に特殊なケースについて）ので、それも削除しました。

— amoeba 2016年

計算の数式からわかるように、

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

明らかに、あなたの重みはではなくです。したがって、あなたの答えを出力と比較する必要があります $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

一致は完全です（浮動小数点エラー内-内部でRは、数値的に安定したアルゴリズムを使用します）。

— whuber
ソース

間違いなく、ここではソフトウェアの規則について話しているだけです。ソフトウェアが「重み」を期待している場合、またはますか？問題が統計パッケージに影響を与える可能性があるため、これは貴重な質問だと思いました。慣例に関係なく、この回答の簡単な分析は、「重み」の代替解釈が妥当であり、どのような状況でも実験する価値があるかもしれないことを示唆しています。

W

$W$

W^{2}

$W^2$

— whuber

はい、との線形代数ブック8.6から式を得ました。彼は、加重最小二乗はからへの調整に過ぎないと言います

A x = b

$Ax=b$

W A x = W b

$WAx=Wb$

— Haitao Du

ストランは正しいですが、彼は教育学的な方向性を逆に持っています：彼は問題ではなく答えから始めます。問題は、残差の分散が既知であるが、異なる値を持っている場合に、最小二乗法のアナログを実行する方法に関係します。さまざまな（ただし単純な）理論上の理由により、データは逆分散（「精度」と呼ばれることもあります）によって重み付けする必要があります。そのことから、は重みの平方根でなければならないことがわかります。

W

$W$

— whuber