分散に関する回帰はなぜですか？

私はこのメモを読んでいます。

2ページに、次のように記載されています。

「データの分散は、特定の回帰モデルによってどの程度説明されますか？」

「回帰の解釈は係数の平均に関するものであり、推論はそれらの分散に関するものです。」

私はそのような声明について何度も読みましたが、なぜ「データの分散が与えられた回帰モデルによってどれほど説明されるのか」を気にするのはなぜでしょうか...より具体的には、なぜ「分散」なのでしょうか？

regression variance interpretation

— ルナ
ソース

「[V] ariance」とは対照的に、標準偏差は何ですか？回帰で気にする必要があると思うのは何ですか？回帰モデルを構築する際の典型的な目標は何ですか？

— GUNG -復活モニカ

分散はモデル化される数量とは異なる単位を持っているため、「モデルによって説明される分散の割合」を解釈することは常に困難でした。

— 飛ぶ

回答:

「与えられた回帰モデルによってデータの分散がどの程度説明されるのか」を気にするのはなぜですか？

これに答えるには、分散の特定の割合が回帰モデルによって説明されることの意味を正確に考えることが役立ちます。

ましょう結果変数です。回帰モデルの従属変数の通常のサンプル分散は、。は、予測値を持つ最小二乗線形回帰モデルに基づく予測です。ここで証明されているように、上記の分散は次のように分割できます： $Y_{1}, ..., Y_{n}$

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2$

{\hat{Y}}_{i} \equiv \hat{f} (X_{i})

$\widehat{Y}_i \equiv \widehat{f}({\boldsymbol X}_i)$

Y_{i}

$Y_i$

X_{i}

${\boldsymbol X}_i$

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \underset{r e s i d u a l v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2}}} + \underset{e x p l a i n e d v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}}}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2 = \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \widehat{Y}_i)^2}_{{\rm residual \ variance}} + \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (\widehat{Y}_i - \overline{Y})^2}_{{\rm explained \ variance}}$

最小二乗回帰では、予測値の平均はであるため、分散の合計は、観測値と予測値の平均二乗差（残差）と予測自体のサンプル分散（説明）分散）、これは sの関数のみです。したがって、「説明された」分散は、変動に起因するの分散と考えることができます。「説明」されるの分散の割合（つまり、変動に起因するの変動の割合 $\overline{Y}$ ${\boldsymbol X}$ $Y_i$ ${\boldsymbol X}_i$ $Y_i$ $Y_i$ ${\boldsymbol X}_i$ ）と呼ばれることもあります。 $R^2$

ここで、2つの極端な例を使用して、この分散分解が重要である理由を明確にします。

（1）予測変数は応答とは無関係です。その場合、（最小二乗の意味での）最も公平な予測子はです。したがって、の合計分散は残差分散にちょうど等しく、予測子分散とは無関係です。 $Y_i$ $\widehat{Y}_i = \overline{Y}$ $Y_i$ ${\boldsymbol X}_i$
（2）予測変数は予測変数と完全に線形に関連しています。その場合、予測は正確で、です。したがって、残差分散はなく、結果の分散はすべて予測自体の分散であり、予測子の関数にすぎません。したがって、結果のすべての分散は、単に予測子分散によるものです。 $\widehat{Y}_i = Y_i$ ${\boldsymbol X}_i$

実際のデータの状況は、これらの2つのソースに起因する可能性のある分散の割合と同様に、多くの場合、2つの極値の間にあります。より多くの「説明された分散」があります-すなわち、変動に起因するの変動が大きいほど、が実行している予測は良好です（つまり、「残差分散」は）、これは最小二乗モデルがうまく適合すると言う別の方法です。 $Y_i$ ${\boldsymbol X}_i$ $\widehat{Y}_{i}$

— 大きい
ソース

これは私の答えに似ていますが、おそらく少し説明があります。また、私は言及されている可能性が可能critqueを参照してください、私はYの平均値に変動を相対書かれているべきであるということです

— マイケルR. Chernick

（私はOPがリンクされたスライドに基づいて話していると思う）@MichaelChernick、はい、でも最小で二乗回帰、予測値の平均値は、平均等しいあなただけの標本分散、それを呼び出すことができますので、S予測。

Y

$Y$

— マクロ

Ybは分散分解が適切に機能するために必要なので、答えを編集しました。

— マイケルR.チャーニック

はい、彼女が最小二乗回帰に言及していることは明らかでした。それでも、あなたが書いたことの多くは、私が言ったことをわずかに異なるように繰り返しているだけです。私はまだあなたに+1を与えました。

— マイケルR.チャーニック

マクロ、私のポイントは、この分解が起こるということであった場合にのみ及びそのため、「回帰」には本質的に、定数ベクトルを含む空間への正射影が含まれます。モデルから定数ベクトルを削除するだけで、この分解を簡単に「破る」ことができます。これは、最近のコメントと矛盾しているようです。

⟨ y - \hat{y}, \hat{y} - \bar{y} 1 ⟩ = 0

$\langle \mathbf y - \hat {\mathbf y}, \hat{\mathbf{y}} - \bar{y} \mathbf{1} \rangle = 0$

— 枢機卿

私の前に答えた統計の大きな犬と一緒に走ることはできません、そしておそらく私の考えは素朴ですが、私はそれをこのように見ます...

あなたが車に乗っていて、道を下って、ホイールを左右に回し、アクセルペダルとブレーキを必死に押すと想像してください。それでも、車はあなたの行動の影響を受けずにスムーズに移動しています。あなたは、あなたが実際の車に乗っていなかったとすぐに疑います。そして、おそらく私たちがよく見れば、あなたはディズニーワールドに乗っていると判断するでしょう。（実際の車に乗っていた場合、致命的な危険にさらされることになりますが、そこに行かないようにしましょう。）

一方、車で道路を運転しているときにホイールを少し左または右に回すだけですぐに車が動く場合、ブレーキをかけると強い減速が生じ、一方、アクセルペダルを踏むと後ろに戻りますシート。あなたは高性能スポーツカーに乗っていたのではないかと疑うかもしれません。

一般に、これらの両極端の間で何かを経験するでしょう。入力（ステアリング、ブレーキ、ガス）が車の動きに直接影響する度合いは、車の品質に関する手がかりを与えます。つまり、あなたの行動に関連する動きの車の変動が大きいほど車は良くなり、車があなたのコントロールとは無関係に動くほど車は悪くなります。

同様に、他のデータセット（と呼ぶ）に基づいて、いくつかのデータ（このデータをと呼ぶ）のモデルを作成することについて話します。場合は変化しない、それが動いていない車のようなものだと我々は仮定しますので、車（モデル）は、ウェルまたはない動作するかどうか議論するにはポイントは本当にありません異なりんが。 $y$ $x_1, x_2, ..., x_i$ $y$ $y$

車と同じように、高品質のモデルは、変化する結果と変化する入力との間に良好な関係を持ちます。車とは異なり、は必ずしもを変更するわけではありませんが、モデルが有用になる場合は、を密接な関係で変更する必要があります。つまり、はの分散の多くを説明します。 $y$ $x_i$ $x_i$ $y$ $x_i$ $y$ $x_i$ $y$

PS私はWinnie The Poohの類推を思い付くことができませんでしたが、試しました。

PPS [編集：]この特定の質問に取り組んでいることに注意してください。分散の100％を考慮すれば、モデルが素晴らしいパフォーマンスを発揮すると考えるのを混同しないでください。また、モデルが非常に柔軟であるため、トレーニングデータに非常に密接に適合する（ランダムな癖や奇妙な点を含む）過剰適合についても考慮する必要があります。類推を使用するには、優れたステアリングとブレーキを備えた車が必要ですが、使用しているテストトラックだけでなく、道路でもうまく機能する必要があります。

— ウェイン
ソース