「最小二乗」と「線形回帰」、それらは同義語ですか？

最小二乗と線形回帰の違いは何ですか？同じことですか？

regression least-squares terminology

— ババディアリナ
ソース

通常の最小二乗は、線形回帰のより広いカテゴリー内の推定方法の1つであると思います。ただし、一部の著者は、「最小二乗」と「線形回帰」を交換可能に使用している可能性があります。

— マシューガン

もしあなたが普通の最小二乗をしているなら、私はその用語を使用します。あいまいさが少なくなります。

— マシューガン

参照してください回帰モデルは何か。

— リチャードハーディ

回答:

線形回帰は、独立変数と従属変数の間の線形関係を前提としています。モデルがどのように適合しているかはわかりません。最小二乗近似は、単に可能性の1つです。線形モデルをトレーニングする他の方法はコメントにあります。

非線形最小二乗法が一般的です（https://en.wikipedia.org/wiki/Non-linear_least_squares）。たとえば、一般的なLevenberg–Marquardtアルゴリズムは次のような問題を解決します。

\hat{β} = \underset{β}{argmin} S （ β ） \equiv \underset{β}{argmin} \sum_{私 = 1}^{m} {[y_{私} - f （ {バツ}_{私} 、 β ）]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

これは最小二乗最適化ですが、モデルは線形ではありません。

彼らは同じものではありません。

— こんにちは世界
ソース

@Student Tの正解に加えて、最小二乗は最適化問題の潜在的な損失関数であり、線形回帰は最適化問題であることを強調したいと思います。

特定のデータセットが与えられた場合、線形回帰を使用して可能な限り最良の線形関数を見つけ、変数間の関係を説明します。

この場合、「最適な」可能性は損失関数によって決定され、線形関数の予測値とデータセットの実際の値を比較します。最小二乗は可能な損失関数です。

最小二乗に関するウィキペディアの記事では、右側に次のような線形回帰以外の問題に対して最小二乗を使用している写真も表示されています。

ウィキペディアの記事からの次のgifは、最小二乗法を使用してデータセットに適合したいくつかの異なる多項式関数を示しています。そのうちの1つだけが線形です（多項式1）。これは、ドイツ語版ウィキペディアの記事からこのトピックへの引用です。

— ニコラス・リーブル
ソース

アニメーションの非線形の例は、実際にはまだパラメーターが線形であると言えます。

— ファイアバグ

確かに、ターゲットと入力変数の間のモデル関係は非線形です。フィッティングを「線形回帰」と呼びますか？わたしは・・・しないだろう。

— ニコラスリーブル

2つの形容詞「線形」は異なるものを指しているため、「線形最小二乗」と「線形回帰」を区別する必要があります。前者はパラメーターが線形の近似を指し、後者は独立変数の線形関数であるモデルへの近似を指します。

— JMは統計学者ではありません

@JM多くの情報源は、「線形」回帰の「線形」は「IVの線形」ではなく「パラメータの線形」を意味すると主張しています。線形回帰に関するWIkipediaの記事は一例です。ここだ別のと別。多くの統計テキストは同じことを行います。私はそれが慣習だと主張します。

— Glen_b -Reinstateモニカ

y = m x + b

$y=mx+b$