切片なしの回帰：最小二乗（行列なし）での導出

統計学習の入門（ジェームスら）、3.7節運動5において、それはのための式と述べ仮定インターセプトすることなく、線形回帰があるここで、およびは、OLSでの通常の推定値です単純な線形回帰の場合（）。 $\hat{\beta}_1$

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} x_{i} y_{i}}{\sum_{i = 1}^{n} x_{i}^{2}},

$\hat{\beta}_1 = \dfrac{\displaystyle\sum\limits_{i=1}^{n}x_iy_i}{\displaystyle \sum\limits_{i=1}^{n}x_i^2}\text{,}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat{\beta}_0 = \bar{y}-\hat{\beta}_1\bar{x}$

{\hat{β}}_{1} = \frac{S_{x y}}{S_{x x}}

$\hat{\beta}_1 = \dfrac{\displaystyle S_{xy}}{S_{xx}}$

S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$S_{xy} = \displaystyle\sum\limits_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})$

これは実際の演習ではありません。方程式を導き出す方法をただ考えているだけです。行列代数を使用せずに、それをどのように導出しますか？

私の試み：場合、。 $\hat{\beta}_0 = 0$ $\hat{\beta}_1 = \dfrac{\bar{y}}{\bar{x}} = \dfrac{S_{xy}}{S_{xx}}$

代数の後、および。ここから、行き詰まっています。 $\displaystyle S_{xy} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}\bar{y}$ $\displaystyle S_{xx} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}^2$

self-study least-squares

— クラリネット奏者
ソース

式は、を使用して、最小二乗の幾何学的解釈から直接得られます。「マッチャー」として、の式をとして。

x / | | x | |

$x/||x||$

y

$y$

({\hat{β}}_{1}) x

$(\hat\beta_1)x$

(y \cdot (x / | | x | |)) x / | | x | |

$(y\cdot (x/||x||))x/||x||$

— whuber

@whuber：と書くのはなく、と書きそれが目立たない場合は、表記上の違いを考慮してください。 || x ||としてコード化 || y ||、コード化されます。

x / | | x | |,

$x/||x||,$

x / ‖ x ‖ .

$x/\|x\|.$

| | x | | | | y | |,

$||x|| ||y||,$

‖ x ‖ ‖ y ‖,

$\|x\|\|y\|,$

$\qquad$

— Michael Hardy

これは、通常の最小二乗法の定義から簡単です。切片がない場合は、最小化します。これは関数として滑らかであるため、導関数がゼロのときにすべての最小値（または最大値）が発生します。に関して微分すると、ます。を解くと式が得られます。 $R(\beta) = \sum_{i=1}^{i=n} (y_i- \beta x_i)^2$ $\beta$ $\beta$ $-\sum_{i=1}^{i=n} 2(y_i- \beta x_i)x_i$ $\beta$

— まぁ
ソース