OLSとMLを使用した線形回帰の推定

と仮定して、線形回帰を推定するとします。ML推定に対するOLSの利点は何ですか？MLメソッドを使用する場合、分布を知る必要があることはわかっていますが、私がMLとOLSのどちらを使用するかに関係なく、u \ sim N（0、\ sigma ^ 2）を想定しているため、この点は重要ではないようです。したがって、OLSの唯一の利点は、\ beta推定量の漸近的な特徴にあるはずです。または、OLS法の他の利点はありますか？$u\sim N(0,\sigma^2)$$u$$u\sim N(0,\sigma^2)$$\beta$

通常の表記法を使用すると、MLメソッドの対数尤度は次のようになります。

$l(\beta_0, \beta_1 ; y_1, \ldots, y_n) = \sum_{i=1}^n \left\{ -\frac{1}{2} \log (2\pi\sigma^2) - \frac{(y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}}{2 \sigma^2} \right\}$。

$\beta_0$と\ beta_1に関して最大​​化する必要があり$\beta_1$ます。

しかし、これは最小化と同等であることが簡単にわかります

$\sum_{i=1}^{n} (y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}$。

したがって、MLとOLSはどちらも同じソリューションになります。

詳細については、講義ノートをご覧ください。

あなたの質問では、概念の間違った部分に焦点を当てています。最小二乗法の美しさは、分布に関係なく素晴らしい簡単な答えを提供することです。真の分布がたまたま正規である場合、それは最大可能性の答えでもあります（これはガウスマルコフ理論です）。正規分布以外の分布がある場合、MLとOLSは異なる回答を返します（ただし、真の分布が正規分布に近い場合、回答は類似しています）。

有限サンプルの唯一の違いは、残差分散のML推定量がバイアスされていることです。モデルで使用されるリグレッサの数は考慮されていません。