線形回帰の最小二乗推定の方程式を*通常の方程式*と呼ぶのはなぜですか？

線形回帰のパラメーターを推定する場合、線形モデルに未知数が含まれているのと同じ数の正規方程式を作成します。これらの方程式が正規方程式と呼ばれるのはなぜですか？

おそらく最も一般的な理解とは何か、次にいくつかの追加の詳細について説明します。

法線は幾何学の用語です（Wikipedia）：

ジオメトリでは、法線は、特定のオブジェクトに垂直な線やベクトルなどのオブジェクトです。

これは今度は大工または石工の広場の用語から来ているように見えます[1]

NORMおよびNORMAL。OEDによれば、ラテン語のノルマとは、大工や石工などが直角、直角、または標準や練習や行動のパターンを得るために使用する正方形を意味する可能性があります。これらの意味は、ノルムとノーマルに基づく数学用語に反映されています。

そして幾何学から、用語はベクトル空間に移動します。

「正規方程式」の直接的な答えは次のとおりです。http：//mathworld.wolfram.com/NormalEquation.html

はの範囲に垂直であるため、これは正規方程式と呼ばれます。$b-Ax$$A$

（通常の回帰表記では、 ' はXの範囲に垂直です'）$y-Xb$$X$

文字通り、最小二乗残差は、が張る空間に対して（直角に）垂直です。$X$

$y$$n$$p$$p+1$$X$$X\hat{\beta}$$X$$y$$y$$X$$y-X\hat{\beta}$$X$

ただし、whuberがコメントで示唆しているように、それほど明確ではありません。

[1]をもう一度見てください。

最小二乗法におけるNORMAL EQUATIONという用語は、1822年にGaussによって導入されました[James A. Landau]。Kruskal＆Stiglerの「規範的用語」（Stigler（1999））は、用語がどこから来たのかに関するさまざまな仮説を検討していますが、非常に満足できるものはありません。

しかし、正規方程式の方法は、ルジャンドル、1805年にしばしばクレジットされています。

[1] Miller、J.（ed）「いくつかの数学の単語の最も初期の既知の使用法、N」いくつかの数学の単語の最も初期の既知の使用法