線形回帰係数推定の分析解

私は行列の表記法を理解しようとしています、そしてベクトルと行列で作業しています。

今、私は、係数のベクトルを推定する方法を理解したいと思いβ重回帰では計算されます。$\hat{\beta}$

基本的な方程式は

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

ここで、ベクトルここでどのように解決しますか？$\beta$

編集：待って、行き詰まっています。私は今ここにいて、続行する方法がわかりません：

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

のすべてのためにインターセプトされます。$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

私を正しい方向に向けることができますか？

我々は持っています

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$。

コンポーネントを使用して式を明示的に記述することで表示できます。たとえば、ではなくと記述します。次に、、、...、に関する導関数を取り、すべてをスタックして答えを取得します。すばやく簡単に説明するには、から始めます。 β β 1 β 2 β P、P = $(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

経験に基づいて、一般的なルールを作成します。その一部は、たとえば、そのドキュメントに記載されています。

質問の追加部分をガイドするために編集します

、我々は持っています$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

に関する導関数は、$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

同様に、に関する導関数は$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

したがって、に関する導関数は$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

ここで、最後の式を次のように書き換えることができます。

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

もちろん、すべてが同じように大きなに対して行われます。$p$

マトリックスクックブックの数式を使用することもできます。我々は持っています

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

ここで、各用語の導関数を取ります。ことに気が付くでしょう。に関する項の導関数はゼロです。残りの期間Y ' Y $\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

関数の形

$$f(x)=x'Ax+b'x,$$

本の11ページの式（88）では、、およびです。導関数は式（89）で与えられます。A = X ' X B = - 2 X '$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

そう

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

今以来我々は所望の解を得ます：$(X'X)'=X'X$

$$X'X\beta=X'y$$

これは、実際により一般的な設定への適用があり、私が有用であると思う回帰の二乗和を最小化するための手法です。

ベクトル行列計算を完全に回避しようとしましょう。

を最小化することに関心があるとし ここで、および。簡単にするために、およびと仮定します。Y ∈ R nはX ∈ R N × P β ∈ R P P ≤ N rはN個のK（X）=

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

すべてのについて、 E=‖Y-X β +X β -Xβ‖ 2 $\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

右側の最後の項がすべてのに対してゼロであるようなベクトル（見つける！）選択できる場合、それは。 β分βE≥‖Y-X β ‖ 2 $\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

しかし、すべてのためのの場合に限りとこの最後の方程式は、場合にのみ当てはまります。したがって、はを取ることで最小化されます。β X T（$(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$X T X β = X T Y E β = （X T X ）- 1 X T $\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

これは微積分を避けるための「トリック」のように見えるかもしれませんが、実際にはより広いアプリケーションがあり、興味深いジオメトリがいくつかあります。

この手法により、導関数がどの行列-ベクトル計算アプローチよりもはるかに単純になる1つの例は、行列の場合に一般化した場合です。ましょう、および。パラメータの行列 全体でを最小化したいとし ます。ここで、は共分散行列です。$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

上記と全く同様のアプローチは、をとることによって、の最小値が達成されることを すばやく確立し つまり、応答が共分散ベクトルであり、観測値が独立している回帰設定では、応答の成分に対して個別の線形回帰を行うことにより、OLS推定が達成されます。$\err$

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

理解に役立つ方法の1つは、行列代数を使用せずに、各コンポーネントをそれぞれの点で区別し、結果を列ベクトルに「格納」することです。だから私たちは：

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

これで、ベータごとに1つずつ、のこれらの方程式ができました。これはチェーンルールの単純なアプリケーションです。$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

これで、括弧内の合計を だからあなたは得る：$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

これでのこれらの方程式ができました。列ベクトルに「スタック」します。どのように注意してくださいに依存項のみである我々は、ベクターにこれを積み重ねることができるように、と我々が得ます：$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

これで、ベータを合計の外に出すことができます（ただし、合計のRHSを維持する必要があります）。次に、詳細を調べます。

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$