説明変数を追加すると、二乗残差の合計が増加しないのはなぜですか？

9

筆者は、OLSを取り上げた私の計量経済学のテキスト（Introductory Econometrics）で、「別の説明変数が追加されたときにSSRが下がる必要がある」と書いています。それはなぜです？

1

本質的に、次の変数との線形関係が何もない場合（0サンプル部分相関）、SSRは同じままになるためです。何らかの関係がある場合は、次の変数を使用してSSRを削減できます。

— Glen_b-2015

3

ステートメントは精神的には正しいですが、真実ではありません。SSRは、既存の変数の線形結合である変数を追加しても、同じままです（落ちません）。結局のところ、新しい変数を無視することで、古い変数で達成したのと同じSSRの最小値を達成できるため、新しい変数を追加しても事態が悪化することはありません。

— whuber

私はここで同様の質問に答えました：stats.stackexchange.com/questions/306267/…。あなたはそれが役に立つかもしれません。

— Josh、

18

線形回帰モデルがあると仮定して、表記を簡単にするために、最初に1つ、次に2つの共変数を検討します。これは、2組の共変数に一般化されます。最初のモデルは、2番目のモデルはこれは、残差の二乗和を最小化することで解決されます。モデル1ではを最小化し、モデル2では最小化し。モデル1の正しい推定量を見つけたとしましょう。次に、同じ値を選択することで、モデル2でまったく同じ残差平方和を取得できます。

I : y_{i} = β_{0} + β_{1} x_{1 i} + ϵ_{i}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

I I : y_{i} = β_{0} + β_{1} x_{1 i} + β_{2} x_{2 i} + ϵ_{i}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$ および。より適切な値を検索することで、より低い和の二乗残差を見つけることができます。

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

要約すると、モデルは入れ子になっています。つまり、モデル1でモデル化できるすべてのものがモデル2で一致できるという意味で、モデル2はモデル1よりも一般的です。常により良い解決策を見つけてください。

これは実際には統計とは関係ありませんが、最適化に関する一般的な事実です。

— kjetil b halvorsen
ソース

1

このように考えたことがない、本当に役に立ちました！

— Eric Xu

1

SSRは、データと推定モデルの間の不一致の尺度です。

別の変数を考慮に入れるオプションがある場合、この変数にさらに多くの情報が含まれていると、フィットは自然に厳しくなります。つまり、SSRが低くなります。

— クラウドスカイウォーカー
ソース