残差と行列計算の合計（ステップバイステップ）

1. 残差の合計を行列形式で記述します。

試行：$(y-X\boldsymbol{\beta})^T(y-X\boldsymbol{\beta}) = y^Ty-\boldsymbol{\beta}^TX^Ty-y^TX\boldsymbol{\beta}+\boldsymbol{\beta}^TX^TX\boldsymbol{\beta} = y^Ty-2y^TX\boldsymbol{\beta}+\boldsymbol{\beta}^TX^TX\boldsymbol{\beta}.$

2. これを最小化し、$\hat{\boldsymbol{\beta}} = (X^TX)^{-1}X^Ty$ます。

試行：$\frac{\partial SSR(\boldsymbol{\beta})}{\partial \boldsymbol{\beta}} = -2y^TX+2X^TX\boldsymbol{\beta} = 0 \rightarrow X^TX\boldsymbol{\beta}=y^TX \rightarrow \hat{\boldsymbol{\beta}} = (X^TX)^{-1}y^TX = (X^TX)^{-1}X^Ty.$

私は行列計算を研究していないので、計算のステップについて少し混乱しています。最初の問題では、方程式の最初の等式に使用されるルールを教えてください。そして2番目の問題では、差別化の最初のステップについて少し混乱しています。

計算を段階的に見せてくれて本当に感謝しています。

ましょうである行列（またはベクターのいずれかであり又はである）、 $\mathbf A,\mathbf B$$m\times n$$m$$n$$1$

$$\begin{align} (\mathbf A+\mathbf B)^T&=\mathbf A^T+\mathbf B^T \tag{1}\\ (\mathbf A\mathbf B)^T&=\mathbf B^T\mathbf A^T \tag{2} \end{align}$$

したがって、 行1は使用し、行2は使用し、最後は行は、とが両方ともスカラーであるというます。

$$\begin{align} (\mathbf y-\mathbf X\beta)^T(\mathbf y-\mathbf X\beta)&=(\mathbf y^T-(\mathbf X\beta)^T)(\mathbf y-\mathbf X\beta)\\ &=(\mathbf y^T-\beta^T\mathbf X^T)(\mathbf y-\mathbf X\beta)\\ &=\mathbf y^T(\mathbf y-\mathbf X\beta)-\beta^T\mathbf X^T(\mathbf y-\mathbf X\beta)\\ &=\mathbf y^T\mathbf y-\mathbf y^T\mathbf X\beta-\beta^T\mathbf X^T\mathbf y+\beta^T\mathbf X^T\mathbf X\beta \\ &=\mathbf y^T\mathbf y-2\mathbf y^T\mathbf X\beta+\beta^T\mathbf X^T\mathbf X\beta \tag{3} \end{align}$$ $(1)$$(2)$$\mathbf y^T\mathbf X\beta$$\beta^T\mathbf X^T\mathbf y$$1\times1$

---

ましょするベクトルと対称行列。行列計算には次の規則があります。 $\mathbf a,\mathbf x$$n\times 1$$\mathbf A$$n\times n$

$$\begin{align} \frac{\mathrm d\ \mathbf a^T\mathbf z}{\mathrm d\ \mathbf z}&=\mathbf a \tag{4} \\ \frac{\mathrm d\ \mathbf z^T\mathbf A\mathbf z}{\mathrm d\ \mathbf z}&=2\mathbf A\mathbf z \tag{5} \end{align}$$

これらをに関する微分適用すると、一次条件が得られます： 解くと、通常のOLS式が得られます。$(3)$$\mathbf\beta$

$$\begin{equation} -2\mathbf X^T\mathbf y+2\mathbf X^T\mathbf X\beta=0 \end{equation}$$ $\beta$