線形回帰には残差に関する仮定があるのに、一般化線形モデルには応答に関する仮定があるのはなぜですか?


14

線形回帰と一般化モデルに一貫性のない仮定があるのはなぜですか?

  • 線形回帰では、残差がガウス型になると仮定します
  • 他の回帰(ロジスティック回帰、ポイズン回帰)では、応答が何らかの分布(二項分布、ポアソンなど)から生じると想定しています。

なぜ残余を想定し、他の時間は応答を想定するのですか?異なるプロパティを導出したいからですか?


編集:mark999は2つの形式が等しいことを示していると思います。しかし、私はiidに関してもう1つの疑問を持っています。

私の他の 質問、ロジスティック回帰にiidの仮定はありますか?一般化線形モデルにiidの仮定がないことを示します(独立していますが同一ではありません)

線形回帰の場合、残差に仮定を設定するとiidが得られますが、応答に仮定を設定すると、独立ではあるが同一ではないサンプル(異なる異なるガウス)になりますか?μ


回答:


12

ガウス誤差を持つ単純な線形回帰は、一般化線形モデルに一般化しない非常に優れた属性です。

一般化線形モデルでは、応答は平均が与えられた特定の分布に従います。線形回帰はこのパターンに従います。もしあれば

y私=β0+β1バツ私+ϵ私

ϵ私〜N(0、σ)

その後、私たちも持っています

y私〜N(β0+β1バツ私、σ)

さて、応答は一般化線形モデルの与えられた分布に従いますが、線形回帰の場合、残差がガウス分布に従うこともあります。それが一般化された規則でない場合、残差が正常であると強調されるのはなぜですか?それは、はるかに便利なルールだからです。残差の正規性について考えることの良いところは、これを調べるのがずっと簡単だということです。推定平均を差し引くと、すべての残差はほぼ同じ分散とほぼ同じ平均(0)を持ち、ほぼ正規分布になります(注:「ほぼ」と言うのは、もちろん回帰パラメータはありませんが、 x。しかし、うまくいけば、これは無視できるほど十分な精度があると推定されます!)。ϵ私バツ

一方、未調整の見ると、それらがすべて異なる手段を持っている場合、それらが正常であるかどうかを実際に知ることはできません。たとえば、次のモデルを考えます。y私

y私=0+2×バツ私+ϵ私

及びX I〜ベルヌーイ(P = 0.5 )ϵ私〜N(0、0.2)バツ私〜ベルヌーイ(p=0.5)

それからは非常に二峰性になりますが、線形回帰の仮定に違反しません!一方、残差はほぼ正規分布に従います。y私

以下に、いくつかのRコードを示します。

x <- rbinom(1000, size = 1, prob = 0.5)
y <- 2 * x + rnorm(1000, sd = 0.2)
fit <- lm(y ~ x)
resids <- residuals(fit)
par(mfrow = c(1,2))
hist(y, main = 'Distribution of Responses')
hist(resids, main = 'Distribution of Residuals')

ヒストグラム


y私=1+2×バツ私+ϵ私

3
@ hxd1011:はい、これは限界分布(明らかに正規分布ではない)とxが与えられた条件付き分布の差です(シミュレートしてから正規分布であることがわかります!)。条件付き分布と周辺分布の違いを考えないことは、非常によくある間違いです。
— クリフAB

14

私=1、…、n

Y私=β0+β1バツ私1+…+βkバツ私k+ϵ私、
ϵ私σ2バツ私1、…、バツ私kY私β0+β1バツ私1+…+βkバツ私kσ2

バツ私1、…、バツ私kβ0+β1バツ私1+…+βkバツ私k

通常のエラーを伴う通常の多重線形回帰モデルは、通常の応答と同一性リンクを持つ一般化された線形モデルです。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.