OLS回帰でのベータ係数の行列からスカラー表記への変換

私の計量経済学試験で、スカラー表記を忘れた場合、行列表記を覚えて逆に作業することで自分自身を救うことができることがわかりました。しかし、以下は私を混乱させました。

単純な見積もりを考えると

$$\hat{y_i} = \hat{\beta_0} + \hat{\beta_1}x_{i1}$$

どのようにして

$$\boldsymbol{\hat{\beta}} = \boldsymbol{(X'X)}^{-1}\boldsymbol{X'y}$$

に

$$\hat{\beta}_1 = \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n(x_i-\bar{x})^2}$$

動けなくなる

$$\hat{\beta}_1 = \frac{\sum_{i=1}^nx_iy_i}{\sum_{i=1}^nx_i^2}$$

解決

行列代数は気が遠くなる可能性があり、エレガントに実行されない場合、非常に多くの（余分な）代数操作が必要になる可能性があります。しかし、状況は、見た目よりはるかに簡単です（行列作成するので最初にものの列を置くことによって、および独立した値の後、カラムそれの後）$X$$(x_i)$

$$X^\prime X = \pmatrix{n & S_x \\ S_x & S_{xx}}$$

そして

$$X^\prime y = \pmatrix{S_y & S_{xy}}$$

（は、変数とその積の合計の便利な（そしてかなり一般的な）省略形です）。したがって、推定の正規方程式は、連立線形方程式として書き出された場合、単に$S_{*}$$\hat\beta = (\hat\beta_0, \hat\beta_1)$

$$\matrix{n \hat\beta_0 + S_x\hat\beta_1 = S_y \\ S_x \hat\beta_0 + S_{xx}\hat\beta_1 = S_{xy},}$$

とで解決され 実際、このab initioを実際に解決する必要はありません。この時点で行う必要があるのは、実際に機能する式を確認することだけです。それは基本的な代数だけを必要とします。同じ結果をはるかに明るく一般化できる方法で生成するより良い方法があるので、それを示しません。$\hat\beta_0$$\hat\beta_1.$$\hat \beta_1$

---

動機と一般化

正規方程式は、残差の二乗和を最小化する問題を考慮することによって導出されることを思い出してください。

$$\operatorname{SSR} = \sum_i \left(y_i - (\beta_0 + \beta_1 x_i)\right)^2.$$

外観中のものの列に対応する、一方の外観列に対応における。 一般に、これらの列は直交していません。 （内積がゼロの場合、2つのベクトルは直交していることを思い出してください。幾何学的に、これはそれらが垂直であることを意味します。これについての詳細は、リファレンスを参照してください）。最も簡単な選択は、各から定数を減算して、結果を定数列に直交させることです。である、我々は数の追求のために$\beta_0$$X$$\beta_1$$(x_i)$$X$$x_i$$c$

$$0 = (1,1,\ldots, 1) \cdot (x_1-c, x_2-c, \ldots, x_n-c) = \sum_{i} (1(x_i-c)) = Sx - nc.$$

一意の解は、明らかに平均です したがって、「中心に置かれた」変数観点からモデルを書き直してみましょう 最小化するように求めます$c = Sx/n = \bar x,$$x_i.$$x_i-\bar x.$

$$\operatorname{SSR} = \sum_i \left(y_i - (\beta_0 + \beta_1\bar x + \beta_1 (x_i-\bar x))\right)^2.$$

簡単にするために、未知の定数項を次のように書きます。

$$\alpha = \beta_0 + \beta_1 \bar x,$$

ソリューション一度ということを理解と得られ、我々は簡単に見積もりを見つけます$\hat\alpha$$\hat\beta_1$

$$\hat\beta_0 = \hat\alpha - \hat\beta_1\bar x.$$

未知数、正規方程式は$(\hat\alpha,\hat\beta_1)$

$$\pmatrix{n & 0 \\ 0 & \sum_i(x_i-\bar x)^2}\pmatrix{\hat\alpha\\\hat\beta_1}=\pmatrix{Sy \\ \sum_i (x_i-\bar x)y_i}.$$

2つの連立線形方程式として書き出されると、各未知数はそれ自体の方程式で分離されます。これは簡単に解決できます。これは、直交列があることで実現されます。$X$ 具体的には、方程式のあります$\hat\beta_1$

$$\sum_i(x_i-\bar x)^2\ \hat\beta_1 = \sum_i (x_i-\bar x)y_i.$$

これは、これから望ましい結果に至るまでの短くて単純な代数的ステップです。（という事実を使用してください。）$\sum_i (x_i-\bar x)\bar y = 0.$

複数の変数への一般化は同じ方法で行われます。最初のステップで、の最初の列の適切な倍数を他の各列から差し引いて、結果のすべての列が最初の列に直交するようにします。（これは、1つの未知の定数線形方程式を解くことに帰着することを思い出してください。これは簡単です。）2番目の適切な倍数を減算して繰り返します。$X$$c,$（新しい）3列目、4列目、...などの列の列を使用して、最初の2つの列に同時に直交させます。それらが相互に直交するまで、この方法で列を「スイープアウト」し続けます。結果の正規方程式は一度に最大1つの変数を含むため、簡単に解くことができます。最後に、解決策は、元の変数（あなたが見積もりに変換する必要があるだけのように変換されたバックする必要がと推定値に戻す通常の回帰場合を）。方法の各ステップで行うのは、古い方程式から新しい方程式を作成し、一度に1つの変数を解くことだけです。$\hat\alpha$$\hat\beta_1$$\hat\beta_0$

---

参考文献

正規方程式を解くためのこのアプローチのより正式な説明については、「グラム-シュミットの直交化」を参照してください。

重回帰におけるその使用がで議論されているのLynne Lamotteで線形モデルの基礎としてグラムシュミット建設、アメリカの統計学者68（1）、2014年2月。

他を計算せずに単一の係数推定値を見つける方法を確認するには、https：//stats.stackexchange.com/a/166718/919の分析を参照してください。

幾何学的な解釈のために、で私の答えを参照https://stats.stackexchange.com/a/97881/919、https://stats.stackexchange.com/a/113207/919、

定数とで回帰する場合、行列は したがって、 および ここから取得できますか？$x_i$$X$

$$\begin{pmatrix}1 &x_1\\ \vdots&\vdots\\1 &x_n \end{pmatrix}$$ $$X'X=\begin{pmatrix}n &\sum_ix_i\\ \sum_ix_i&\sum_ix_i^2\\ \end{pmatrix}$$ $$(X'X)^{-1}=\frac{1}{n\sum_ix_i^2-(\sum_ix_i)^2} \begin{pmatrix}\sum_ix_i^2 &-\sum_ix_i\\ -\sum_ix_i&n\\ \end{pmatrix}$$

これに苦労している可能性のある他の誰かのために、私はすべてを以下に段階的に書きました。

説明を簡単にするために、1変数（）の最小サンプルと2つの観測（）のみがあるとします。スカラーでの推定は$x$$k=1$$n=2$$\hat{y_i} = \hat{\beta_0}+\hat{\beta_1}x_i$

$$\begin{equation*} \boldsymbol{\hat{\beta}}=\begin{pmatrix} \hat{\beta_0} \\ \hat{\beta_1} \end{pmatrix} \end{equation*}$$

$$\begin{equation*} \boldsymbol{y}=\begin{pmatrix} y_i \\ y_i \end{pmatrix} \end{equation*}$$

$$\begin{equation*} \boldsymbol{X}=\begin{pmatrix} 1 & x_i \\ 1& x_i \end{pmatrix} \end{equation*}$$

したがって

$$\begin{equation*} \boldsymbol{X'}=\begin{pmatrix} 1 & 1 \\ x_i & x_i \end{pmatrix} \end{equation*}$$

そして;

$$\begin{equation*} \boldsymbol{X'X}=\begin{pmatrix} n & \sum_{i=1}^nx_i \\ \sum_{i=1}^nx_i & \sum_{i=1}^nx_i^2 \end{pmatrix} \end{equation*}$$

\ textbf {逆行列}の規則を思い出してください。ここで、det [。] =行列の行列式、およびadj [。] =行列の補助（時々随伴と呼ばれる）。

$$\begin{equation*} \boldsymbol{(X'X)^{-1}}= \frac{1}{\textrm{det[$\boldsymbol{X'X}$]}}\times \textrm{adj[$X'X$]} \\ \end{equation*}$$ $$\begin{equation*} \textrm{det[$\boldsymbol{X'X}$]}= \frac{1}{ad-bc}= \frac{1}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \end{equation*}$$ $$\begin{equation*} \textrm{adj[$\boldsymbol{X'X}$]} = \begin{pmatrix} d & -b \\ -c & a \end{pmatrix} =\begin{pmatrix} \sum_{i=1}^nx_i^2 & -\sum_{i=1}^nx_i \\ -\sum_{i=1}^nx_i & n \end{pmatrix} \end{equation*}$$

したがって

$$\begin{equation} \boldsymbol{(X'X)^{-1}}=\frac{1}{\textrm{det[$\boldsymbol{X'X}$]}}\times \textrm{adj[$X'X$]} = \begin{pmatrix} \frac{\sum_{i=1}^nx_i^2}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{n}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \end{pmatrix} \end{equation}$$

$$\begin{equation*} \boldsymbol{X'y}=\begin{pmatrix} 1 & 1 \\ x_i & x_i \end{pmatrix} \times \begin{pmatrix} y_i \\ y_i \end{pmatrix} = \begin{pmatrix} \sum_{i=1}^ny_i \\ \sum_{i=1}^nx_iy_i \end{pmatrix} \end{equation*}$$

したがって

$$\begin{align*} \boldsymbol{\hat{\beta}} & =\boldsymbol{(X'X)^{-1}}\boldsymbol{X'y}\\ \begin{pmatrix} \hat{\beta_0} \\ \hat{\beta_1} \end{pmatrix} & = \begin{pmatrix} \frac{\sum_{i=1}^nx_i^2}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{n}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \end{pmatrix} \times \begin{pmatrix} \sum_{i=1}^ny_i \\ \sum_{i=1}^nx_iy_i \end{pmatrix} \end{align*}$$

$$\begin{align*} \hat{\beta_1} & =\frac{-\sum_{i=1}^nx_i \times \sum_{i=1}^ny_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} + \frac{n \times \sum_{i=1}^nx_iy_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ % \hat{\beta_1} & =\frac{n\sum_{i=1}^nx_iy_i - \sum_{i=1}^nx_i\sum_{i=1}^ny_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ \end{align*}$$ 思い出す、したがって（同様）; ％ $\frac{1}{n}\sum_{i=1}^nx_i = \bar{x}$$\sum_{i=1}^nx_i = n\bar{x}$$y_i$ $$\begin{align*} \hat{\beta_1} & =\frac{n\sum_{i=1}^nx_iy_i - n\bar{x}n\bar{y}}{n\sum_{i=1}^nx_i^2-(n\bar{x})^2} \\ \hat{\beta_1} & =\frac{n\sum_{i=1}^nx_iy_i - n^2\bar{x}\bar{y}}{n\sum_{i=1}^nx_i^2-n^2(\bar{x})^2} \\ \textrm{Dividing by $n$;} \\ \hat{\beta_1} & =\frac{\sum_{i=1}^nx_iy_i - n\bar{x}\bar{y}}{\sum_{i=1}^nx_i^2-n(\bar{x})^2} \\ \end{align*}$$ $$\begin{equation} \hat{\beta_1} = \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n(x_i-\bar{x})^2} \end{equation}$$