同じ方法を使用して線形回帰係数とロジスティック回帰係数を推定できないのはなぜですか？

機械学習の本を読んだところ、線形回帰のパラメーターは（他の方法の中でも）勾配降下法によって推定できる一方で、ロジスティック回帰のパラメーターは通常、最尤推定によって推定されます。

線形/ロジスティック回帰に異なる方法が必要な理由を初心者（私）に説明することは可能ですか？別名線形回帰の場合はMLEを使用せず、ロジスティック回帰の場合は勾配降下を使用しないのはなぜですか？

あなたはリンゴをオレンジと混同しています。どちらもおいしいので大丈夫です。

最尤推定は最小化することに関するものであり、勾配降下は最小化する方法に関するものです。

線形回帰にMLEを使用しないのはなぜですか？

実際、線形回帰は最尤推定で解決されます。標準の「二乗誤差の合計を最小化する」方法は、条件付き正規分布を使用した最尤推定と数学的にまったく同じです。

ロジスティック回帰に勾配降下を使用しないのはなぜですか？

勾配降下法を使用して尤度関数を最小化することにより、ロジスティック回帰を完全に解くことができます。それは実際には素晴らしいエクササイズです、そして私はみんなに少なくとも一度はそれをすることを勧めます。

ただし、勾配降下法は標準的な方法ではありません。その賞は、繰り返し再重み付けされた最小二乗 / ニュートン法に与えられます。これは、2次導関数も考慮に入れる勾配降下法の拡張です。この方法は、勾配降下法よりもはるかに優れた特性を持っていることがわかりますが、理解して実装するのは難しいです。