Yを正規に配布する必要があるという誤解はどこから来ますか？

一見信頼できるソースは、従属変数は正規分布でなければならないと主張しています。

モデルの仮定：は正規分布、エラーは正規分布、独立、は固定、定数分散です。E I〜N （0 、σ 2）X σ $Y$$e_i \sim N(0,\sigma^2)$$X$$\sigma^2$

ペンシルベニア州立大学、STAT 504離散データの分析

第二に、線形回帰分析では、すべての変数が多変量正規である必要があります。

統計解、線形回帰の仮定

これは、応答変数に正規分布がある場合に適切です。

ウィキペディア、一般化線形モデル

この誤解がどのように、またはなぜ広まったのか、良い説明はありますか？その起源は知られていますか？

関連する

• 線形回帰と応答変数に関する仮定

「Yは正規分布でなければなりません」

する必要がありますか？

---

あなたが言及している場合、それはずさんな言語（「Yのエラーは正規分布でなければなりません」と略します）ですが、実際には（強く）応答を正規分布しなければならない、または少なくともそうではないようです彼らの言葉がそのように意図されていたことを私は。

ペンシルベニア州のコース教材

語って「連続変数」$Y$が、また、「についてのような」我々が考えることができで呼ばアメーバようで、コメントは「条件付き」、正規分布し、$Y_i$

$$E(Y_i) = \beta_0 + \beta_1 x_i$$ $Y_i$

$$Y_i \sim N(\beta_0 + \beta_1x_i,\sigma^2)$$

この記事では、と同じ意味で使用しています。記事全体を通して、たとえば「Yの分布」について説明します。 $Y$$Y_i$

• GLM（バイナリロジスティック回帰）のいくつかのバリアントを説明するとき、

  ランダム成分：の分布であると仮定される、...$Y$$Binomial(n,\pi)$

• ある定義では

  ランダム成分 -応答変数（）の確率分布を指します。たとえば、線形回帰の正規分布、またはバイナリロジスティック回帰の二項分布。$Y$$Y$$Y$

ただし、他のいくつかのポイントでは、代わりにも参照します。$Y_i$$Y$

• 従属変数は正規分布である必要はありませんが、通常は指数族（例えば、二項、ポアソン、多項、正規など）からの分布を想定しています。$Y_i$

統計ソリューションWebページ

非常に簡潔で単純化された定型化された説明です。これを真剣に考えるべきかどうかはわかりません。たとえば、

.. すべての変数が多変量正規である必要があります...

それは単なる応答変数ではなく、

また、「多変量」記述子はあいまいです。どう解釈するのか分かりません。

ウィキペディアの記事

括弧で説明されている追加のコンテキストがあります。

通常の線形回帰は、特定の未知の量（応答変数、ランダム変数）の期待値を、一連の観測値（予測子）の線形結合として予測します。これは、予測変数が一定に変化すると、応答変数が一定に変化することを意味します（線形応答モデル）。これは、応答変数に正規分布がある場合（直感的に、応答変数が固定の「ゼロ値」なしでいずれかの方向に本質的に無制限に変化する場合、またはより一般的に比較的小さな量だけ変化する量、たとえば人間の場合に適切ですハイツ）。

この「固定ゼロ値なし」は、が無限領域（負の無限大から正の無限大）にあるとき、線形結合 が多くの変数に有限のカットオフ値（負の値を許可しないカウントなど）。$y+\epsilon$$\epsilon \sim N(0,\sigma)$

特定の行は2012年3月8日に追加されましたが、Wikipediaの記事の最初の行には、「正規分布以外のエラー分布モデルを持つ応答変数を可能にする通常の線形回帰の柔軟な一般化」があり、 （どこでもない）間違っています。

---

結論

だから、（確かに可能性があり、これらの三つの例に基づいて生成誤解を、あるいは少なくとも誤解される可能性が）私はそれを言わないだろう「この誤解が広がりを持っています」。または少なくとも、これらの3つの例の意図は、Yが正規分布する必要があることを主張することではないようです（スタック交換でこの問題が発生したことを覚えていますが、正規分布エラーと正規分布応答変数の間のスワップ簡単に作成できます）。

だから、「Yは正規分布しなければならない」という仮定は、広範囲にわたる信念/誤解（赤いニシンのように広がるもののように）ではなく、より一般的なエラー（拡散ではなく、毎回独立して作られたもの）のようです）。

---

追加コメント

このウェブサイトの間違いの例は次の質問にあります

残差が正規分布しているが、yが分布していない場合はどうなりますか？

これは初心者の質問だと思います。ペンシルベニア州のコース教材、ウィキペディアのウェブサイトなどの資料には存在せず、最近「Rによる線形回帰の拡張」という本にコメントで記載されています。

それらの作品の作者は素材を正しく理解しています。実際、彼らは「Yは正規分布でなければならない」などのフレーズを使用しますが、文脈と使用された式に基づいて、それらはすべて「YはXに条件付けられ、正規分布でなければならない」ことを意味し、「周辺のYは正規に配布される」。彼らはアイデア自体を誤解しておらず、少なくともアイデアは統計学者や本や他の教材を書く人々の間で広まっているわけではありません。しかし、あいまいな言葉を誤読すると、実際に誤解を招く可能性があります。

この誤解がどのように/なぜ広まったのか、良い説明はありますか？その起源は知られていますか？

私たちは通常、学部生に多くの分野で統計の「単純化された」バージョンを教えています。私は心理学を専攻しており、学部生にp値は「帰無仮説が真である場合のデータまたはより極端なデータの確率」であることを伝えようとすると、同僚は必要以上の詳細をカバーしていると言いますカバーするために。クラスの学生は統計に関して非常に幅広い快適さ（またはその欠如）を持っているので、インストラクターは一般的にシンプルに保ちます。たとえば、p値の実際の定義を提供する代わりに、p <.05、」を使用します。

これが、誤解が広まった理由の説明だと思います。たとえば、モデルを次のように書くことができます。

ε 〜N （0 、σ 2 ε$Y = \beta_0 + \beta_1X + \epsilon$ここで、$\epsilon \sim \text{N}(0, \sigma^2_\epsilon)$

これは次のように書き直すことができます。

$Y|X \sim \text{N}(\beta_0 + \beta_1X, \sigma^2_\epsilon)$

これは、「Xを条件とするYは、予測値といくらかの分散の平均とともに正規分布する」ことを意味します。

これを説明するのは難しいので、速記者は単に「Yは正規分布でなければならない」と言うかもしれません。または、最初に説明されたとき、人々は条件付き部分を誤解しました。それは、正直なところ、混乱しているからです。

したがって、物事を非常に複雑にしないために、インストラクターは、ほとんどの生徒を過度に混乱させないように、彼らが言っていることを単純化します。そして、人々はその誤解で統計教育や統計実践を続けます。私自身は、スタンでベイジアンモデリングを開始するまで概念を完全に理解していませんでした。

model {
  vector[n_obs] yhat;

  for(i in 1:n_obs) {
    yhat[i] = beta[1] + beta[2] * x1[i] + beta[3] * x2[i];
  }

  y ~ normal(yhat, sigma);
}

また、GUIを使用した多くの統計パッケージ（SPSSを見る）では、残差が正規分布している（回帰を実行する）よりも、周辺分布が正規分布している（単純なヒストグラム）かどうかを確認する方が簡単です。残差を保存し、それらの残差でヒストグラムを実行します）。

したがって、誤解は主に、正しい方法で学習している人々の混乱、真正、そして理解しやすい混乱を防ぐためにインストラクターが詳細を削ろうとするためであり、これらの両方は、最もユーザーフレンドリーな統計パッケージ。

回帰分析は初心者には困難です。これは、異なる開始前提によって暗示される異なる結果があるためです。弱い開始仮定は結果の一部を正当化できますが、より強い仮定を追加するとより強い結果を得ることができます。結果の完全な数学的導出に精通していない人は、必要な結果を得るにはモデルをあまりにも弱くするか、結果に必要であるという信念に不必要な仮定をかけることで、結果に必要な仮定を誤解することがよくあります。

より強力な仮定を追加して追加の結果を取得することは可能ですが、回帰分析自体は応答ベクトルの条件付き分布に関係します。モデルがこれを超えると、多変量解析の領域に入り、厳密に（単なる）回帰モデルではなくなります。条件付き分布であることを常に指定せずに、回帰で分布結果を参照するのが一般的であるという事実により、問題はさらに複雑になります（設計行列の説明変数が与えられます）。モデルが条件付き分布を超える場合（説明ベクトルの周辺分布を想定することにより）、ユーザーはこの違いを指定するよう注意する必要があります。残念ながら、人々は常にこれに注意を払っていません。

---

Homoskedastic線形回帰モデル：通常使用される最も早い開始点は、正規性をまったく仮定せずにモデル形式と最初の2つの誤差モーメントを仮定することです。

$$\boldsymbol{Y} = \boldsymbol{x} \boldsymbol{\beta} + \boldsymbol{\varepsilon}\quad \quad \mathbb{E}(\boldsymbol{\varepsilon} | \boldsymbol{x}) = \boldsymbol{0} \quad \quad \mathbb{V}(\boldsymbol{\varepsilon} | \boldsymbol{x}) \propto \boldsymbol{I}.$$

この設定は、係数のOLS推定量、誤差分散の不偏推定量、残差、およびこれらすべてのランダム量のモーメント（設計行列の説明変数を条件とする）を取得するのに十分です。これらの量の完全な条件付き分布を取得することはできませんが、が大きく、制限動作にいくつかの追加の仮定が置かれている場合、漸近分布にアピールできます。さらに進むには、エラーベクトルに特定の分布形式を仮定することが一般的です。$n$$\boldsymbol{x}$

正規誤差：ホモスケスティクス線形回帰モデルのほとんどの処理では、誤差ベクトルが正規分布していると仮定しています。

$$\boldsymbol{\varepsilon} | \boldsymbol{x} \sim \text{N}(\boldsymbol{0}, \sigma^2 \boldsymbol{I}).$$

この追加の仮定は、係数のOLS推定量がモデルのMLEであることを保証するのに十分です。また、係数推定量と残差が正規分布し、誤差分散の推定量がスケーリングされたカイ2乗分布（すべて設計マトリックスの説明変数を条件とする）。また、応答ベクトルが条件付きで正規分布することも保証します。これにより、分析の説明変数を条件とする分布結果が得られ、信頼区間と仮説検定の構築が可能になります。アナリストが応答の周辺分布に関する調査結果を作成する場合は、さらに進んで、モデル内の説明変数の分布を想定する必要があります。

共同通常の説明変数：ホモセダスティック線形回帰モデルの一部の処理は、標準の処理よりもさらに進んでおり、固定の説明変数を条件としません。（おそらくこれは、回帰モデリングから多変量解析への移行です。）この種類の最も一般的なモデルは、説明ベクトルがIIDジョイント正規ランダムベクトルであると想定しています。まかせである番目説明ベクトル（たちが持っているデザイン行列の行目）。 i $\boldsymbol{X}_{(i)}$$i$$i$

$$\boldsymbol{X}_{(1)}, ..., \boldsymbol{X}_{(n)} \sim \text{IID N}(\boldsymbol{\mu}_X, \boldsymbol{\Sigma}_X).$$

この追加の仮定は、応答ベクトルがわずかに正規分布することを保証するのに十分です。これは強力な仮定であり、通常、ほとんどの問題では課されません。述べたように、これはモデルを回帰モデリングの領域外で多変量解析に取り入れます。