エラー項の分布は、応答の分布にどのように影響しますか？

14

したがって、誤差項が線形回帰で正規分布していると仮定すると、応答変数意味は？ $y$

regression distributions

— マークドル
ソース

7

たぶん私はオフになっていますが、私はOP について疑問に思っているべきだと思います。モデルがある場合、線形回帰の非常に最も簡単なケースでは次いで、モデル内の唯一の確率的成分は、誤差項です。そのため、のサンプリング分布を決定します。もし、その後 $f(y|\beta, X)$ $y=X\beta + \epsilon$ $y$ $\epsilon\sim N(0, \sigma^2I)$ 。ただし、@ Anikoの言うことは、（わずかに）については確かに真実です。そのため、問題は少し曖昧です。 $y|X, \beta\sim N(X\beta, \sigma^2I)$ $f(y)$ $X, \beta$

— JMS
ソース

私はすべてのコメントが好きです！そして、それらはすべて正しいようです。しかし、私は最も簡単な答えを探していました:)エラー項が正規分布していると仮定するとどうなりますか。これが実際に非常に頻繁に発生することは、他の回答から明らかになります！どうもありがとう！

— -MarkDollar

17

簡単な答えは、の分布については何も結論づけられないということです。これはの分布と関係の強さと形状に依存するためです。より正式には、は「正規分布の混合」分布があり、実際にはほとんど何でもかまいません。 $y$ $x$ $y$

これを説明する極端な例を2つ示します。

可能な値が2つ、およびます。そして、 0と10のバンプと強く二峰性分布を持つことになります。 $x$ $y = 10x + N(0,1)$ $y$
ここで同じ関係を仮定しますが、が多数の値を持つ0〜1の間隔で均一に分布するようにします。次に、は0〜10の間隔でほぼ均一に分布します（エッジに半正規テールがあります）。 $x$ $y$

実際、すべての分布は正規分布の混合で任意に近似できるため、実際に分布を取得できます。 $y$

— アニコ
ソース

8

+1最後の声明について：私もかつてそれを考えるという間違いを犯しました。数学的には正しいのですが、実際には、微分不可能なスパイクを法線（JまたはU形の分布など）で近似することはほぼ不可能です：法線は、スパイクの密度をキャプチャするにはピークが平坦すぎます。必要なコンポーネントが多すぎます。正規分布は、pdfが非常に滑らかな分布の近似に適しています。

— whuber

1

@whuber同意しました。実際の分布に対して正規混合近似を使用することはお勧めしませんが、極端な反例を示しようとしました。

— アニコ

5

実際のデータに架空のモデルを課すことにより、エラー用語を発明します。エラー項の分布は応答の分布に影響しません。

誤差が正規分布しているとしばしば仮定するため、推定残差が正規分布するようにモデルを構築しようとします。これは、分布によっては難しい場合があります。これらの場合、応答の分布がエラー項に影響すると言うことができると思います。 $y$

— トーマス・レヴァイン
ソース

2

「私たちはしばしば私たちの誤差項が正規分布していることを、このようなモデルを構築しよう」 -正確に言えば、私はあなたが残差に言及していると思う

。これらは、推定のと同じ方法で、誤差項の

の推定値である

。残差が正常に見えるようにしたいのは、それが最初にエラー項について想定したことだからです。モデルを指定することで、それを適合させるのではなく、エラー用語を「発明」します。

y - X \hat{β}

$y-X\hat\beta$

X \hat{β}

$X\hat\beta$

E (y) = X β

$\mathbb{E}(y)=X\beta$

— JMS

あなたの精度、JMSに同意します。+1と回答を調整します。

— トーマスレバイン

2

応答をとして書き出す場合、は「モデル」（の予測）で、は「エラー」である場合、これを再配置してを示すことができます。したがって、エラーに分布を割り当てることは、モデルが不完全な方法を示すことと同じです。別の言い方をすれば、観測された応答が、モデルが予測したものではなく、実際の値であった理由がわからない範囲を示しているということです。モデルが完全であることがわかっている場合は、エラーに対してすべての質量がゼロになる確率分布を割り当てます。割り当て

y = m + e

$\bf{y}=m+e$

m

$\bf{m}$

y

$\bf{y}$

e

$\bf{e}$

y - m = e

$\bf{y}-m=e$

基本的にエラーが単位が小さいと言います

。モデルの予測は、異なる観測に対して同じ量だけ「間違っている」傾向があり、

のスケールでは「ほぼ正しい」という考え方です。対照的に、代替の割り当ては

これは、ほとんどのエラーは小さいが、一部のエラーは非常に大きいことを意味します。応答を予測する。

N (0, σ^{2})

$N(0,\sigma^{2})$

σ

$\sigma$

σ

$\sigma$

C a u c h y (0, γ)

$Cauchy(0,\gamma)$

ある意味では、エラー分布は応答よりもモデルにより密接にリンクしています。これは、両方の場合のために、上記の式の非識別性から分かるとに任意のベクトルを付加し、未知でありとからそれを差し引くの同じ値にリード、 $\bf{m}$ $\bf{e}$ $\bf{m}$ $\bf{e}$ $\bf{y}$ $\bf{y}=m+e=(m+b)+(e-b)=m'+e'$ 。誤差分布とモデル方程式の割り当ては、基本的に、どの任意のベクトルが他のベクトルよりももっともらしいかを示しています。

— 確率論
ソース

「これは奇妙に思えます。なぜならyは一度だけ観測されるからです（yは応答の完全なベクトル/行列/などです）。これはどのように「分散」できますか？実際に観察された応答とは何の関係もありません。あなたは私たちがテストすることはできませんと言っている

対

？

H_{0} : y \sim f_{0}

$H_0: y\sim f_0$

H_{1} : y \sim f_{1}

$H_1: y\sim f_1$

— JMS

いいえ、申し訳ありませんが、それはあなたが言っていることはできません。私はまだ混乱しています。多分それは少し不正確だが、私はそれを読む方法は、彼が持っている

のサンプル

から

固定して

、彼のモデルは、

、と彼はの想定分布かと思っています

の分布について暗示

彼のモデルの下の

。ここでは、それが正常であることを意味します。我々は我々のサンプルでこれをテストすることができます

n

$n$

y_{i}

$y_i$

Y

$Y$

x_{i}

$x_i$

Y = X β + ϵ

$Y = X\beta + \epsilon$

ϵ

$\epsilon$

Y | β, X

$Y|\beta, X$

— JMS

@JMS-最初の段落を削除するかもしれません。混乱に加えて、それが私の答えに何かを追加するとは思わない。

— 確率論的

私の答えに追加する私のお気に入りの1つ:)

— JMS