エラーが正規分布していない場合、最小二乗法と最尤法の回帰法が等しくないのはなぜですか？

タイトルはそれをすべて言います。モデルのエラーが正規分布している場合、最小二乗と最大尤度は回帰係数に対して同じ結果になることを理解しています。しかし、エラーが正常に分布していない場合はどうなりますか？なぜ2つの方法が同等ではなくなったのですか？

簡潔な答え

多変量ガウス分布の確率密度は、分散型変数$x=(x_1, x_2,...,x_n)$の平均と、$\mu=(\mu_1,\mu_2,...,\mu_n)$の二乗に関連しています（平均値と変数との間のユークリッド距離$\vert \mu-x \vert_2^2$、つまり二乗和で）。

---

長い答え

$n$誤差に対して複数のガウス分布を乗算すると、偏差が等しいと仮定すると、二乗和が得られます。

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

または便利な対数形式：

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

したがって、$\mu$を最適化して二乗和を最小化することは、（対数）尤度（つまり、複数のガウス分布の積、または多変量ガウス分布の積）を最大化することと同じです。

それは違い、このネストされた正方形であり$(\mu-x)$内部指数構造、$exp\left[ (x_i-\mu)^2 \right]$、他のディストリビューションが持っていません。

---

たとえば、ポアソン分布の場合と比較してください

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

これは、以下が最小化されたときに最大になります。

$$\sum \mu_j -log(\mu_j) x_{ij}$$

これは別の獣です。

---

その他（歴史）

正規分布の履歴（deMoivreが二項分布の近似としてこの分布に到達することを無視）は、実際にはMLEを最小二乗法に対応させる分布の発見と同じです（最小二乗法はメソッドではありません）正規分布のMLEを表すことができます。最初に最小二乗法、2番目にガウス分布が使用されます）

「最尤法」と「最小二乗法」を結びつけるガウスは、「ガウス分布」、$e^{-x^2}$を生み出しました。 2つの方法。

チャールズヘンリーデイビスの翻訳（円錐形のセクションで太陽の周りを移動する天体の運動の理論。ガウスの「セオリアモータス」の翻訳、付録付き）...

ガウスは以下を定義します：

したがって、確率各エラーに割り当てる$\Delta$の関数で表現される$\Delta$我々はによって意味するもの$\psi \Delta$。

^{（私が行った斜体化）}

そして続けます（177ページの258ページ）：

...それは容易に推察されるそこその$\frac{\psi^\prime\Delta}{\Delta}$は一定量でなければなりません。これを$k$表します。したがって、我々が持っている

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ によって双曲線対数の底を表す$e$と仮定 $$\text{Constant} = \log x$$

最終的に（正規化して$k<0$を実現した後）

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

StackExchangeStrikeによって書かれた

MLEは、正規分布する残差の仮定から導出されるためです。

ご了承ください

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

確率的な意味はありません。二乗損失関数を最小化するを見つけてください。すべてが確定的であり、ランダムなコンポーネントはありません。$\beta$

確率と尤度の概念が来るところは、

$$y=X\beta + \epsilon$$

ここで、を確率変数と見なし、は正規分布です。$y$$\epsilon$

最小二乗と最大（ガウス）尤度近似は常に同等です。つまり、同じ係数セットによって最小化されます。

エラーの仮定を変更すると、尤度関数が変更され（モデルの尤度を最大化することは、エラー項の尤度を最大化することと同じです）、そのため、関数は同じ係数セットによって最小化されなくなります。

したがって、実際には2つは同じですが、理論的には、異なる可能性を最大化すると、最小二乗法とは異なる答えが得られます

具体的な例：単純なエラー関数p（1）=。9、p（-9）= .10を取るとします。2つのポイントを取る場合、LSはそれらのポイントを通過します。一方、MLは、両方のポイントが1ユニット高すぎると想定しているため、ユニット上でシフトされたポイントを通る直線になります。