回帰残差分布の仮定

12

誤差に分布の仮定を置く必要があるのはなぜですか、すなわち

$y_i = X\beta + \epsilon_{i}$ と、 $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$ 。

書いてみませんか

$y_i = X\beta + \epsilon_{i}$ と $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$ 、

ここで、いずれの場合に $\epsilon_i = y_i - \hat{y}$ 。
分布に関する仮定は、データではなくエラーに置かれていることを強調していますが、説明はありません。

私はこれら2つの処方の違いを本当に理解していません。私は、データに分布の仮定が置かれている場所をいくつか見ています（ベイジアンのように見えますが、ほとんどそうです）が、ほとんどの場合、仮定はエラーに置かれています。

モデル化するとき、なぜどちらか一方の仮定から始めることを選択するのはなぜですか？

regression normal-distribution residuals assumptions notation

— bill_e
ソース

まず、それは「必要」ではなく、あなたが何をしようとしているかに依存します。良い答えはいくつかありますが、核心は、Xがyを「引き起こす」という意味で、因果関係の根底にある仮定であり、そのように見ると、yの分布はrhsの分布、つまりXとエラー（ある場合）。非常に限られた分布の仮定で、特に正規性なしで、多くの計量経済学を行うことができます。ああ、助かった。

— PatrickT 14年

3

ない

、との人口の平均

さんは、それのサンプル見積もりと同じではありません。これは第二のものは、実際には最初と同じものではありませんが、あなたはその期待（とそれを交換する場合と言うことである

）、2は同等になります。

\hat{y}

$\hat y$

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— グレン_b-モニカの復帰14

何である

？そして、もし

と変わる

、なぜしない

変わりますか？使用する表記法、ベクトルまたは行列を決めてください。私たちはその仮定すれば今

あなたの表記法は、より多くの奇怪より：

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$ つまり、

分布をそれ自体と他のすべての観測

観点から定義します。

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas 14年

1

表記が混乱していると思うので、この質問を下回った。これはすでにいくつかの微妙に矛盾する答えをもたらした。

— mpiktas 14年

回答:

9

線形回帰設定では、分析を実行し、を条件とする結果、つまり「データ」を条件とする結果を導出することが一般的です。したがって、必要なのは、が正常である、つまり、が正常である必要があるということです。ピーターFlomの例が示すように、1は正規の持つことができの規定せずに何が必要なのが正常であることから、このように、そして賢明な仮定です、。 $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— エクヴァル
ソース

8

私は2番目の定義を

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

または（Karl Oskarが+1を提案しているように）

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

すなわちモデリングの仮定は、応答変数は、通常一定の分散で、（条件付き平均の推定値である）回帰直線の周りに分布していることである。分布の平均は依存するため、これはが正規分布していることを示唆することとは異なります。 $\sigma^2$ $y_i$ $X_i$

機械学習の文献でこれに似た定式化を見てきました。限り、私はそれが最初の定義と同等である見ることができるよう、私が行っているすべては排除するために少し違った二製剤をrexpressすることであるさんとを。 $\epsilon_i$ $\hat{y}$

— ディクラン・マースピアル
ソース

3

違いを例で説明するのが最も簡単です。以下に簡単なものを示します。

Yがバイモーダルであり、モダリティが独立変数によって説明されるとします。たとえば、Yが身長で、サンプル（何らかの理由で）が騎手とバスケットボール選手で構成されているとします。例えばR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

最初の密度は非常に普通ではありません。しかし、モデルの残差は非常に正常に近いものです。

制限がこのように配置されている理由について-私は他の誰かにその答えをさせます。

— ピーター・フロム-モニカの復職
ソース

1

ありがとうございました！二峰性分布とはどういう意味かわかります。フォローアップの質問：データの分散が異なる場合はどうでしょうか（異相性？）言ってください..すべての騎手は小さいですが、バスケットボール選手の身長はかなりの幅があります。たぶん彼らにとっては、背の高い<-rnorm（100,78,10）。このような状況は

または

仮定をどのように変えますか？

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

— bill_e 14年

その場合、不均一分散が問題になり、他の何らかの形の回帰、または場合によっては何らかの変換を使用するか、別の変数を追加する必要があります（この馬鹿げた例では、バスケットボールでプレーするポジションがそれを行うかもしれません）。

— ピーターフロム-モニカの復職

公式がysが正規分布していることを示唆することを意図しているのかどうかはわかりませんが、それらは正規の条件付き分布を持っているだけです。

— ディクランマースピアル14

2

私はあなたの第二の製剤にsuscripted追加する必要があります。
するので一緒に変わることができる必要がある。

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

指摘されたことを、何である？それは。製剤@DikranMarsupialプレゼントにこのリード：これは、両方の規定正規分布と期待値が等しいので、これは、正確にあなたの最初の処方と同じであることを認識する価値があります。それは次のとおりです。 $\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

（明らかに分散が等しい。）換言すれば、これはない仮定の違い、単に表記差。

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$

質問は、最初の定式化を使用してアイデアを提示することを好む理由がありますか？

私は2つの理由で答えはイエスだと思う：

$Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
$Y|\bf X$ $Y|\bf X$

これらの確信は、最初の処方よりも2番目の処方を使用する可能性が高いと思います。

— gung-モニカの回復
ソース

1

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.