重み付き最小二乗回帰の重みをどのように見つけますか？

WLS回帰のプロセスで少し迷っています。データセットが与えられましたが、私のタスクは異分散があるかどうかをテストすることです。そうであれば、WLS回帰を実行する必要があります。

私はテストを実施し、異分散の証拠を見つけたので、WLSを実行する必要があります。WLSは基本的に変換されたモデルのOLS回帰であると言われましたが、変換関数を見つけることについて少し混乱しています。私は、変換がOLS回帰からの二乗残差の関数になり得ることを示唆するいくつかの記事を読みましたが、誰かが正しい軌道に乗るのを手伝ってくれれば幸いです。

重み付き最小二乗（WLS）回帰は、変換されたモデルではありません。代わりに、とYの間の基礎となる関係について、それぞれの観測を多少なりとも情報として扱うだけです。より情報量の多いポイントにはより「重み」が与えられ、情報量の少ないポイントにはより少ない重みが与えられます。重みが事前にわかっている場合にのみ、重み付き最小二乗（WLS）回帰が技術的に有効であることは正しいです。 $X$$Y$

$X$状況。結果として、残差の分散を予測変数のレベルに関連付ける関数を推定することができます。

そのような推定を行う方法に関連するいくつかの問題があります。

1. 重みは分散の逆数（または使用するもの）でなければならないことに注意してください。

2. $X$$X$

3. $X$plot(model, which=2)$X$中央値からの絶対偏差の中央値。

4. $X$$X$

5. OLSは不均一分散性が存在する場合でも不偏であるため、OLS回帰の残差から重みを取得することは合理的です。それでも、これらの重みは元のモデルに依存し、後続のWLSモデルの適合性を変更する場合があります。したがって、2つの回帰から推定ベータを比較して結果を確認する必要があります。それらが非常に似ている場合は、問題ありません。WLS係数がOLS係数と異なる場合、WLS推定を使用して残差を手動で計算する必要があります（WLS近似から報告される残差は重みを考慮します）。新しい残差のセットを計算したら、重みを再度決定し、新しい重みを2番目のWLS回帰で使用します。このプロセスは、2セットの推定ベータが十分に類似するまで繰り返す必要があります（ただし、これを1回行うことは一般的ではありません）。

重みが推定され、以前の誤ったモデルに依存しているために、このプロセスで多少不快になる場合、別のオプションはHuber-White 'sandwich'推定器を使用することです。これは、どんなに厳しくても不均一分散性が存在する場合でさえ一貫しており、モデルに依存しません。面倒なことも少なくなります。

重み付き最小二乗の簡単なバージョンとサンドイッチSEの使用をここでの答えで示します：異分散データに対する一元配置分散分析の代替案。

WLSを実行するときは、重みを知る必要があります。ダグラスC.モンゴメリー、エリザベスA.ペック、G。ジェフリーバイニングによる線形回帰分析入門の 191ページで述べたように、それらを見つけるいくつかの方法があります。例えば：

1. 理論モデルを使用した経験または事前情報。
2. ${\rm var}(\varepsilon_i)=\sigma^2x_i$$w_i=1/x_i$
3. $n_i$$x_i$${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$$w_i=n_i$
4. ある程度の（既知または推定の）精度を持つさまざまな機器によって、さまざまな観測値が測定されていることがわかっている場合があります。この場合、測定誤差の分散に反比例する重みを使用することを決定できます。