多変量線形回帰といくつかの単変量回帰モデル

一変量回帰設定では、モデル化を試みます

ここで、は観測値のベクトルであり、は予測子をもつ計画行列です。解はです。$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

多変量回帰設定では、モデル化を試みます

ここで、は、観測値と異なる潜在変数の行列です。解はです。$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

私の質問は、異なる一変量線形回帰を実行することとどのように異なるのですか？後者の場合、従属変数間の相関を考慮することをここで読みましたが、数学からはわかりません。$p$

古典的な多変量線形回帰の設定では、次のモデルがあります。

ここで、は独立変数を表し、は複数の応答変数を表し、はiidガウスノイズ項です。ノイズの平均はゼロであり、応答変数間で相関させることができます。重みの最尤解は、最小二乗解と等価です（ノイズ相関に関係なく）[1] [2]：$X$$Y$$\epsilon$

これは、応答変数ごとに個別の回帰問題を個別に解決することと同じです。これは、の番目の列（番目の出力変数の重みを含む）が、に乗算することによって取得できるという事実からわかります。列（番目の応答変数の値を含む）。$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

ただし、多変量線形回帰は、個々の回帰問題を個別に解決することとは異なります。これは、統計的推論手順が複数の応答変数間の相関を説明するためです（たとえば、[2]、[3]、[4]を参照）。たとえば、ノイズ共分散行列は、サンプリング分布、検定統計量、区間推定に表示されます。

各応答変数に独自の共変量のセットを許可すると、別の違いが生じます。

ここで、は番目の応答変数を表し、とは対応する共変量とノイズ項のセットを表します。上記のように、ノイズ項は応答変数間で相関させることができます。この設定では、最小二乗法よりも効率的で、各応答変数の個別の回帰問題を解決するために還元できない推定量が存在します。たとえば、[1]を参照してください。$Y_i$$i$$X_i$$\epsilon_i$

参考文献

1. ツェルナー（1962）。一見無関係な回帰を推定する効率的な方法と、集計バイアスのテスト。
2. ヘルヴィヒ（2017）。多変量線形回帰[スライド]
3. Fox and Weisberg（2011）。Rの多変量線形モデル。[付録：応用回帰のRコンパニオン]
4. マイトラ（2013）。多変量線形回帰モデル。[スライド]