普通の最小二乗で、普通は何ですか？

私の友人は最近、普通の最小二乗について、何がそんなに普通かを尋ねました。議論のどこにも行き着かなかったようです。OLSは線形モデルの特殊なケースであり、多くの用途があり、よく知られており、他の多くのモデルの特殊なケースであることに、両者は同意しました。しかし、これは本当にすべてですか？

したがって、私は知りたいのですが：

• 名前は本当にどこから来たのですか？
• 名前を最初に使用したのは誰ですか？

最小二乗法は、通常最小二乗法（OLS）と呼ばれることがよくあります。これは、1800年頃に開発された最初の統計的手順であったためです。履歴を参照してください。これは、ノルムを最小化することと同じです。続いて、重み付き最小二乗、他のノルムの最小化（たとえば、）、一般化最小二乗、M推定、二変量最小化（たとえば、デミング回帰）、ノンパラメトリック回帰、最尤回帰、正則化（たとえば、ティコノフ、リッジ）および他の逆問題手法と他の複数のツールが開発されました。ガウスとルジャンドルのどちらを最初に適用したかについては、まだ論争があります（$y$$L_2$$||Y-f(X)||_2$$L_1$リンク）。「通常」（を意味する）という用語が明らかに「最小二乗法」に追加されたのは、非常に多くの代替手法が登場してから、（依然として）最も人気のあるOLSが、利用可能になった他の最小化の多さから区別される必要があったからです。通常の最小二乗法を正確に追加すると、それが自然であるか明白になったときに発生したため、追跡することが困難になります。$y$$+$