線形回帰の仮定の必要性は何ですか？

14

線形回帰では、次の仮定を行います

予測子の値の各セットでの応答の平均は、予測子の線形関数です。

E (Y_{i})

$E(Y_i)$

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

エラー

ε_{i}

$ε_i$ は独立しています。

予測子の各値セット

での誤差

ε_{i}

$ε_i$ は、

分布しています。

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

予測子の各値セット

での誤差

ε_{i}

$ε_i$ 、等しい分散（

と表示）があります。

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

σ 2

$σ2$

線形回帰を解く方法の1つは、次のように記述できる正規方程式を使用することです。

θ = （ {バツ}^{T} バツ ）^{- 1} {バツ}^{T} Y

$\theta = (X^TX)^{-1}X^TY$

数学的な観点から、上記の方程式はのみ $X^TX$ が可逆的であることを必要とします。では、なぜこれらの仮定が必要なのでしょうか？数人の同僚に尋ねたところ、良い結果を得るためであり、正規方程式はそれを達成するためのアルゴリズムであると述べました。しかし、その場合、これらの仮定はどのように役立ちますか？それらを守ることは、より良いモデルを得るのにどのように役立ちますか？

regression assumptions

— クロックスレーブ
ソース

2

通常の式を使用して係数の信頼区間を計算するには、正規分布が必要です。CI計算の他の式（白だと思います）では、非正規分布が可能です。

— keiv.fly

モデルが機能するために、これらの仮定が常に必要なわけではありません。ニューラルネットワークでは、内部に線形回帰があり、指定した式と同様にrmseが最小化されますが、ほとんどの場合仮定が成り立ちません。正規分布、均等な分散、線形関数はなく、エラーが依存する場合もあります。

— keiv.fly

2

参照してくださいstats.stackexchange.com/q/16381/35989

— ティム

1

@Alexis iidである独立変数は間違いなく仮定ではありません（そしてiidである従属変数も仮定ではありません-応答がiidであると仮定した場合、平均を推定する以上のことをするのは無意味です）。そして、「省略されていない変数」は、変数を省略することを避けるのが良いのですが、実際には追加の仮定ではありません-リストされた最初の仮定は本当にそれを大事にするものです。

— デイソン

1

@Dason私のリンクは、有効な解釈に必要な「省略された変数がない」という非常に強力な例を提供していると思います。iid（予測子の条件付き、はい）も必要だと思います。ランダムウォークは、非iid推定が失敗する可能性のある優れた例を提供します（平均のみの推定に頼る）。

— アレクシス

19

あなたは正しいです-最小二乗線を点に当てはめるためにこれらの仮定を満たす必要はありません。結果を解釈するには、これらの仮定が必要です。たとえば、入力と間に関係がないと仮定すると、少なくとも回帰から見たものと同じくらい大きい係数を取得する確率はですか？ $X_1$ $Y$ $\beta_1$

— リンスピー
ソース

17

画像試しアンスコムの例基本的な記述統計のほとんどはすべての4つが同じである（と個別：これらの仮定のいくつかは明らかに偽であるとき、線形回帰を解釈して潜在的な問題のいくつかのアイデアを得るためにウィキペディアからの値であります右下を除くすべてで同一） $x_i$

— ヘンリー
ソース

Anscombeに続いて、省略されていない変数の仮定に違反するとどのように見えるかを示す図を作成しました。iid仮定の違反の Anscombe風のイラストの作業を続けています。

— アレクシス

3

線形モデルに適合するためにこれらの仮定は必要ありません。ただし、パラメーターの推定値にバイアスがかかったり、最小分散がなかったりする可能性があります。仮定に違反すると、たとえば信頼区間の構築など、回帰結果の解釈が難しくなります。

— こんにちは世界
ソース

1

OK、これまでのところ、答えは次のようになっています。仮定に違反すると、悪いことが起こる可能性があります。興味深い方向は次のとおりだと思います：必要なすべての仮定（実際には上記のものとは少し異なります）が満たされた場合、線形回帰が最良のモデルであることをなぜそしてどのように確認できますか？

$p(y_i|x_i)$ $E[Y_i|X_i=x_i]$ $x_i$

— ファビアン・ヴェルナー
ソース

0

2つの主要な仮定は

観測の独立性
平均は分散とは関係ありません

Julian Farawayの本の議論を参照してください。

これらが両方とも当てはまる場合、OLSは、あなたがリストした他の仮定の違反に対して驚くほど抵抗力があります。

— 達成する
ソース