線形回帰の場合のMLEと最小二乗の関係

HastieとTibshiraniは、彼らの本のセクション4.3.2 で、線形回帰の設定では、最小二乗アプローチは実際には最大尤度の特別なケースであると述べています。この結果をどのように証明できますか？

PS：数学的な詳細はありません。

線形回帰モデル

、 ε 〜N （0 、Iは、σ 2$Y = X\beta + \epsilon$$\epsilon \sim N(0,I\sigma^2)$

、 X ∈ R N × Pと β ∈ R $Y \in \mathbb{R}^{n}$$X \in \mathbb{R}^{n \times p}$$\beta \in \mathbb{R}^{p}$

${\bf \epsilon = Y - X\beta}$$\beta$$L_2$

最小二乗

$(x_1,y_1),...,(x_n,y_n)$$x_{i}$$p$

$$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$$

最尤

$\beta$

$$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$$

$f(y_i|x_i,\beta)$$\sigma^2$

$$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$$

一般に、可能性を処理する場合、続行する前に数学的にログを取る方が簡単です（積は合計になり、指数はなくなります）。そうしましょう。

$$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$$

$\beta$$\beta$

$$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$$

$\beta$

$$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$$

これが機能するためには、特定のモデルの仮定（誤差項の正規性、0平均、一定の分散）を作成する必要があったことを思い出してください。これにより、特定の条件下で最小二乗がMLEと同等になります。詳細については、こちらとこちらをご覧ください。

完全を期すために、ソリューションは次のように記述できることに注意してください。

$${\bf \beta = (X^TX)^{-1}X^Ty}$$