線形回帰におけるハット行列の重要性は何ですか？

回帰分析におけるハット行列の重要性は何ですか？$H=X(X^{\prime}X )^{-1}X^{\prime}$

計算を簡単にするためだけですか？

線形回帰の研究では、基本的な開始点は、データ生成プロセス ここで、および確定的です。最小二乗基準を最小化した後、一方は推定を発見ためすなわち、。最初の式に推定器を接続すると、がデータ生成プロセスの線形モデルとして取得されます。これで、推定器に置き換えることができます$\textbf{y= XB + u} \quad$$\textbf{u} \sim N(0,\sigma^2 \boldsymbol I)$$\textbf{X}$$\widehat {\textbf{B} }$$\textbf{B}$$\widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$$\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$$\widehat {\textbf{B}}$そして、$\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

したがって、は実際には射影行列です。すべての変数を想像してください。変数はベクトルであり、空間に広がります。したがって、あなたは、多重場合によって、あなたはあなたの中に観測値を投影し内の変数で張られる空間に。の推定値を与え、それがハットマトリックスと呼ばれる理由であり、それが非常に重要である理由です。結局のところ、線形回帰は単なる投影に過ぎず、投影行列では推定値を計算することしかできません$\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$$\textbf{X}$$\textbf{H}$$\textbf{y}$$\textbf{y}$$\textbf{X}$$\textbf{y}$$\textbf{y}$ためのそれが本当に正常に分散されているかどうかの例チェックのためとすることができます。$\textbf{u}$

私はインターネット上でこの素晴らしい写真を見つけ、それがこの予測を視覚化しています。代わりにが使用されていることに注意してください。さらに、画像は、誤差項のベクトルが投影に直交しているため、推定値と相関していないことを強調しています$\beta$$\textbf{B}$$\textbf{y}$

ハットマトリックスは、いくつかの理由で非常に便利です。

1. 代わりに、そのを取得します。ここで、はハット行列です。これにより、は観測値の線形マッピングであることがわかります。$\widehat{y}=Z\widehat{\beta}$$\widehat{y}=Py$$P$$\widehat{y}$
2. ハット行列から、残差を計算するのは簡単です。ことがわかります。$P$$\widehat{\epsilon}$$\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$

これは、Ax = bの「最も近い」解を見つけることに他なりません。ここで、bはAの列空間にありません。bを列空間に投影し、Ax（hat）= pを解きます。ここで、pはbへの投影です。列スペース。