ガウスモデルの最小二乗とMLEの等価性

私は機械学習が初めてで、自分で学習しようとしています。最近、私はいくつかの講義ノートを読んでいて、基本的な質問がありました。

スライド13は、「最小二乗推定はガウスモデルの最尤推定と同じです」と述べています。簡単なように思えますが、これは見えません。誰かがここで何が起こっているのか説明してもらえますか？私は数学を見ることに興味があります。

リッジとラッソ回帰の確率論的観点も後で見ようと思うので、私に役立つ提案があれば、それも高く評価されます。

regression bayesian least-squares

— アンディ
ソース

pの下の目的関数。13は、pの底にある目的関数の定数倍（）です。10. MLEは前者を最小化し、最小二乗は後者、QEDを最小化します。

n

$n$

— whuber

@whuber：ご回答ありがとうございます。私が知りたかったのは、MLEが最小化をどのように行っているかです。

— アンディ

メカニックですか、それとも概念ですか？

— whuber

@whuber：両方！私はその数学を見ることができれば、それも役立ちます。

— アンディ

リンクが壊れています。完全な参照がなく、引用のコンテキストがより多いため、参照を削除したり、参照の代替ソースを見つけたりすることは難しくなります。このリンクのスライド13で十分ですか？--- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

— Glen_b -Reinstate Monica

モデルで

$Y = X \beta + \epsilon$

ここで、人の被験者のサンプルの対数尤度は（加算定数まで）です。 $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

のみの関数として見ると、マキシマイザーはまさに最小化するものです $\beta$

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

これは等価性を明確にしますか？

— マクロ
ソース

これはOPで言及したスライドにある正確に何である

— whuber

はい、わかりますが、実際には13ページでガウスの対数尤度を記述していないため、そのargmaxがOLS基準のargminと同じであることが明らかになるため、これは価値のある追加だと思いました。

— マクロ

良い点：スライドは詳細が少し大ざっぱです。

— whuber

誤差が回帰直線の周りに正規分布していることがわかっている場合、「最小二乗」が最善であるとarbitrarily意的に宣言する以外は、最小二乗推定量が何らかの意味で「最適」であることを学びました。リッジ回帰に関しては、ガウス事前分布が配置されている場合、このソリューションは（あなたがベイジアンの場合）最小二乗推定量と同等です。頻繁な世界では、ペナルティ付き最小二乗に相当します。ロジスティック回帰係数は最小二乗問題の解ではないため、類似していません。

β

$\beta$

L_{2}

$L_{2}$

— マクロ

加算定数はn/2 log(2 *pi)

— -SmallChess