なぜ結果変数が予測子に「回帰する」と言うのですか？

この用語の直感的な説明はありますか？なぜこのようになっているのか、結果に対して予測子が回帰していないのか？

理想的には、この用語が存在する理由を適切に説明することで、生徒がそれを覚えて、間違った言い方をしないようにすることを望んでいます。

「回帰」の語源が何であるかはわかりませんが、この表現を言ったり聞いたりするときに私が念頭に置いている解釈がここにあります。Hastie et al。による統計的学習の要素からの次の図を考えてください。

コアでは、線形回帰は（onto）Xの正射影になります。ここで、yは従属変数の観測値のn次元ベクトル、Xは予測ベクトルがまたがる部分空間です。$\mathbf y$$\mathbf X$$\mathbf y$$n$$\mathbf X$

これは、線形回帰の非常に有用な解釈です。

以来上に投影されているX、それは私がいることを聞いたときに私が考えるものであるyが「上回帰し」ているX。この観点から、Xがyに対して回帰される、またはyがXに対して「反対」または「とともに」回帰されると言うのはあまり意味がありません。$y$$X$$y$$X$$X$$y$$y$$X$

理想的には、この用語が存在する理由を適切に説明することで、生徒がそれを覚えて、間違った言い方をしないようにすることを望んでいます。

私が言ったように、これがこの用語が存在する理由の説明であるとは思わない（おそらくそれがなぜ続くのか？）

私はよく、この話し方を使って聞きました。予測子が書面での慣習、単語の使用、表記法の使用、またはこの2つを混合する慣習に従っている前に、結果または応答に言及するシーケンスは、

$Y = X\beta$

さまざまな種類の変数と呼ばれるものについて、同様に興味深い（または面白くない！）質問を脇に置きます。

しかし、多くの数学者が最初に引数付きのマッピングまたは関数を記述するように、予測子を最初に言及することは数学的にも統計的にも同様に有効であるようです。

統計的な議論で使用するシーケンスをしばしば駆動するのは、科学的または実際的に、私たちは通常、予測しようとしていることの明確なアイデアを持っていることです-それは、死亡率、収入、または小麦の収量、または選挙での投票、または何でもです-潜在的または実際の予測変数のプールはそれほど明確ではないかもしれません。たとえ明確であっても、重要なことを最初に言及することは理にかなっています。あなたは何をしようとしているのですか？何でも予測します。どうやってやるの？これらの変数の一部またはすべてを使用します。

当てはまる他の単語ではなく、「オン」のストーリーはありません。「逆行」または「逆行」は聞こえません。ここには論理はなく、教科書、教育、議論でミームが伝えられているだけかもしれません。

$y$$x$

1）回帰という用語は、通常の単純な線形回帰モデルでは、

$y = \alpha + \beta x + \epsilon$

$y$$x$$\hat{y}$$\bar{y}$$x$$\bar{x}$

$|\hat{y} - \bar{y}| / s_y < |x - \bar{x}| / s_x$

たとえば、Rに組み込まれたBODデータフレームを使用する場合：

fm <- lm(demand ~ Time, BOD)
with(BOD, all( abs(fitted(fm) - mean(demand)) / sd(demand) < abs(scale(Time))))
## [1] TRUE

証拠については、https：//en.wikipedia.org/wiki/Regression_toward_the_meanを参照してください。

2）上の用語は、http：//people.eecs.kuなどの多くのソースでさらに説明されているように、近似値が予測変数（インターセプトを含む）がまたがる部分空間への結果変数の投影であるという事実に由来します。 .eduの/〜jhuan / EECS940_S12 /スライド/ linearRegression.pdf。

注意

以下のコメントに関して、コメント者が述べているのは、答えがそれを正しく述べていることを除いて、答えが既に式形式で述べているものです。実際、平等のため：

$(\hat{y} - \bar{y}) = \hat{\beta} (x - \bar{x})$

$| \beta | < 1$。本当のことは、従属変数の平均値からの平均偏差は、回答の式で述べられている予測変数に対する平均値よりも少ないことです。

コメントが参照するGaltonのデータ（RのUsingRパッケージで利用可能）を使用して、回帰を実行しました。実際、勾配は0.646であるため、平均の子は親よりも平均に近かったが、そうではありません一般的なケース。平均への回帰の現在の使用法は、回答で示した正しい一般的な関係に基づいています。上記の答えのRコードに示されている例では$beta > 1$そのため、需要が必ずしも平均時間に近いというよりも、需要が平均需要に近いということは真実ではありません。答えの不等式が示すように、標準偏差の近さを測定する場合にのみ真実です。

個人的には、用語の説明に関しては、特に学生に説明するとき、用語の定義自体が常に役立つと思います。回帰という言葉の実際の定義は次のとおりです。

「以前の、またはあまり発展していない状態に戻る」。

So one way to explain I guess would be the following:

"Thinking of the outcome as the fully developed state, we try to explain the outcome by using less developed states, i.e. the independent variables. Thus the outcome is regressed on the predictors."

Hope that helps.