72

線形回帰の通常の仮定は何ですか？

含まれますか：

独立変数と従属変数の間の線形関係
独立したエラー
エラーの正規分布
同相性

他に何かありますか？

regression assumptions

— トニー
ソース

3

かなり完全なリストは、William Berryの「Understanding Regression Assumptions」に関する小さな本で見つけることができます：books.google.com/books/about/…–

3

回答者はいくつかの優れたリソースを挙げていますが、この形式で答えるのは難しい質問であり、（多くの）本はこのトピックのみに専念しています。クックブックはありません。また、線形回帰に含まれる可能性のあるさまざまな状況を与えるべきではありません。

— アンディW

3

技術的には、（通常の）線形回帰は、 iid という形式のモデルです。その単純な数学的ステートメントは、すべての仮定を網羅しています。これは、@ Andy W、あなたが質問をもっと広く解釈しているのではないかと思うように導きます。これについてのあなたのさらなる考えはここで役に立つかもしれません。

E [Y_{i}] = X_{i} β

$\mathbb{E}[Y_i] = \mathbf{X}_i \beta$

Y_{i}

$Y_i$

— whuber

2

@Andy WIはあなたの解釈が間違っていると示唆しようとしていませんでした。あなたのコメントは、技術的な仮定を超えて、おそらく回帰結果の有効な解釈に必要なものを指し示す質問について考える方法を示唆しました。それに応じて論文を書く必要はありませんが、それらのより広範な問題の一部のリストでさえ明らかになる可能性があり、このスレッドの範囲と関心を広げる可能性があります。

— whuber

1

@ whuber、場合、これは平均がごとに異なることを意味するため、を

E Y_{i} = X_{i} β

$EY_i=X_i\beta$

i

$i$

Y_{i}

$Y_i$

— iidに

78

答えは、完全かつ通常の定義方法に大きく依存します。次の方法で線形回帰モデルを作成するとします。 $\newcommand{\x}{\mathbf{x}} \newcommand{\bet}{\boldsymbol\beta} \DeclareMathOperator{\E}{\mathbb{E}} \DeclareMathOperator{\Var}{Var} \DeclareMathOperator{\Cov}{Cov} \DeclareMathOperator{\Tr}{Tr}$

y_{i} = x_{i}^{'} β + u_{i}

$y_i = \x_i'\bet + u_i$

ここで、は予測変数のベクトル、は目的のパラメーター、は応答変数、は外乱です。可能な推定の1つは、最小二乗推定です： $\mathbf{x}_i$ $\beta$ $y_i$ $u_i$ $\beta$

\hat{β} = {argmin}_{β} \sum (y_{i} - x_{i} β)^{2} = {(\sum x_{i} x_{i}^{'})}^{- 1} \sum x_{i} y_{i} .

$\hat\bet = \textrm{argmin}_{\bet}\sum(y_i-\x_i\bet)^2 = \left(\sum \x_i \x_i'\right)^{-1} \sum \x_i y_i .$

現在、実質的にすべての教科書は、この推定不偏、一貫性、効率、いくつかの分布特性などの望ましい特性がある場合の仮定を扱っています。 $\hat\bet$

これらの各プロパティには特定の仮定が必要ですが、これらは同じではありません。したがって、LS推定の必要な特性にどの仮定が必要かを尋ねるのがより良い質問です。

上記のプロパティには、回帰の確率モデルが必要です。そして、ここでは異なる適用フィールドで異なるモデルが使用される状況があります。

単純な場合は、を独立したランダム変数として扱い、は非ランダムです。私はいつもの言葉が好きではありませんが、これはほとんどの応用分野での通常のケースであると言えます（私が知る限り）。 $y_i$ $\x_i$

統計的推定の望ましい特性のいくつかのリストは次のとおりです。

推定値が存在します。
不偏：。 $E\hat\bet=\bet$
一貫性： as（はデータサンプルのサイズです）。 $\hat\bet \to \bet$ $n\to\infty$ $n$
効率：よりも小さい代替推計のためのの。 $\Var(\hat\bet)$ $\Var(\tilde\bet)$ $\tilde\bet$ $\bet$
分布関数を近似または計算する機能。 $\hat\bet$

存在

存在プロパティは奇妙に見えるかもしれませんが、それは非常に重要です。の定義では、行列を逆にし $\hat\beta$ $\sum \x_i \x_i'.$

すべての可能なバリアントに対して、この行列の逆行列が存在することは保証されません。したがって、すぐに最初の仮定が得られます。 $\x_i$

行列はフルランク、つまり可逆的でなければなりません。 $\sum \x_i \x_i'$

不偏

我々は持っているもし

E \hat{β} = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum x_{i} E y_{i}) = β,

$\E\hat\bet = \left(\sum \x_i \x_i' \right)^{-1}\left(\sum \x_i \E y_i \right) = \bet,$

E y_{i} = x_{i} β .

$\E y_i = \x_i \bet.$

2番目の仮定に番号を付けることもできますが、線形関係を定義する自然な方法の1つであるため、完全に述べている場合があります。

不偏性を得るには、すべてのに対してのみを必要とし、は定数であることに注意してください。独立プロパティは必要ありません。 $\E y_i = \x_i \bet$ $i$ $\x_i$

一貫性

一貫性の仮定を得るには、意味をより明確に述べる必要があります。確率変数のシーケンスには、さまざまな収束モードがあります。確率、ほぼ確実に、分布とモーメントの意味です。確率の収束を取得したいとします。多数の法則を使用するか、多変量チェビシェフ不等式を直接使用できます（あるという事実を使用）。 $\to$ $p$ $\E \hat\bet = \bet$

Pr (‖ \hat{β} - β ‖ > ε) \leq \frac{Tr (Var (\hat{β}))}{ε^{2}} .

$\Pr(\lVert \hat\bet - \bet \rVert >\varepsilon)\le \frac{\Tr(\Var(\hat\bet))}{\varepsilon^2}.$

（この不等式の変形は、マルコフの不等式をに直接適用したもので、。） $\lVert \hat\bet - \bet\rVert^2$ $\E \lVert \hat\bet - \bet\rVert^2 = \Tr \Var(\hat\bet)$

確率の収束とは、が場合、左辺が消滅することを意味するため、がます。データが多いほど、推定精度が向上するため、これは完全に合理的です。 $\varepsilon>0$ $n\to\infty$ $\Var(\hat\bet)\to 0$ $n\to\infty$ $\bet$

我々は持っている

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} \sum_{j} x_{i} x_{j}^{'} Cov (y_{i}, y_{j})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) =\left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \sum_j \x_i \x_j' \Cov(y_i, y_j) \right) \left(\sum \mathbf{x}_i\mathbf{x}_i'\right)^{-1}.$

独立性により、保証されるため、式は $\Cov(y_i, y_j) = 0$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} x_{i} x_{i}^{'} Var (y_{i})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) = \left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \x_i \x_i' \Var(y_i) \right) \left( \sum \x_i \x_i' \right)^{-1} .$

ここで、次に $\Var(y_i) = \text{const}$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} Var (y_{i}) .

$\Var(\hat\beta) = \left(\sum \x_i \x_i' \right)^{-1} \Var(y_i) .$

さらに、各をバインドする必要がある、すぐに取得し $\frac{1}{n} \sum \x_i \x_i'$ $n$

Var (β) \to 0 as n \to \infty .

$\Var(\bet) \to 0 \text{ as } n \to \infty.$

したがって、一貫性を得るために、自己相関（）がないと仮定し、分散は定数であり、は大きくなりすぎないことを仮定しました。が独立したサンプルに由来する場合、最初の仮定は満たされます。 $\Cov(y_i, y_j) = 0$ $\Var(y_i)$ $\x_i$ $y_i$

効率

古典的な結果は、ガウス-マルコフの定理です。そのための条件は、まさに一貫性のための最初の2つの条件と不偏のための条件です。

分布特性

が正常な場合、は正常なランダム変数の線形結合であるため、すぐに正常であることがわかります。独立性、無相関性、定数分散の以前の仮定を仮定すると、ここで。 $y_i$ $\hat\bet$

\hat{β} \sim N (β, σ^{2} {(\sum x_{i} x_{i}^{'})}^{- 1})

$\hat\bet \sim \mathcal{N}\left(\bet, \sigma^2\left(\sum \x_i \x_i' \right)^{-1} \right)$

Var (y_{i}) = σ^{2}

$\Var(y_i)=\sigma^2$

が正規ではなく独立している場合、中心極限定理のおかげでおおよその分布を得ることができます。このため、ある行列についてと仮定する必要があります。と仮定した場合、漸近正規性の定数分散は必要ありません $y_i$ $\hat\bet$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} \to A

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \to A$

A

$A$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} Var (y_{i}) \to B .

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \Var(y_i) \to B.$

定数分散により、ことに注意してください。中心極限定理は、次の結果をもたらします。 $y$ $B = \sigma^2 A$

\sqrt{n} (\hat{β} - β) \to N (0, A^{- 1} B A^{- 1}) .

$\sqrt{n}(\hat\bet - \bet) \to \mathcal{N}\left(0, A^{-1} B A^{-1} \right).$

したがって、このことから、独立性と定数の分散、および特定の仮定により、LS推定多くの有用な特性が得られることがわかります。 $y_i$ $\mathbf{x}_i$ $\hat\bet$

問題は、これらの仮定を緩和できることです。たとえば、はランダム変数ではないことを要求しました。この仮定は、計量経済学のアプリケーションでは実行不可能です。私たちは聞かせている場合ランダムで、我々は条件付き期待値を使用する場合、同様の結果を取得し、考慮のランダム取ることができます。独立性の仮定も緩和できます。私たちはすでに、非相関性のみが必要な場合があることをすでに示しました。これでもさらに緩和することができ、LS推定値が一貫しており、無症候性の正常であることを示すことは依然として可能です。詳細については、例えばWhiteの本を参照してください。 $\x_i$ $\x_i$ $\x_i$

— mpiktas
ソース

ガウス-マルコフの定理に関するコメント。OLSは、データの線形関数である他の推定量よりも優れているとのみ述べています。ただし、多くの一般的に使用される推定量、特に最尤法（ML）はデータの線形関数ではなく、ガウスマルコフの定理の条件下でOLSよりもはるかに効率的です。

— ピーターウェストフォール

@PeterWestfallガウス正規誤差の場合、MLEはOLSです:)そして、MLEよりも効率的になることはできません。私はこの投稿で数学的な詳細を軽くしようとしました。

— mpiktas

1

私のポイントは、GM条件が成立する場合、非正規分布の下でOLSよりも多くの効率的な推定量があることです。GMは、非正規の場合に最適な推定量がデータの非線形関数であるため、OLSが非正規の下で「良好」であるというステートメントとしては本質的に役に立ちません。

— ピーターウェストフォール

@mpiktasしたがって、をランダムではなく、推定器か、をランダムとして推定器ますか？

x

$\mathbf x$

\hat{Y}

$\mathbf{\hat{Y}}$

x

$\mathbf x$

\hat{Y | x}

$\mathbf{\hat{Y|x}}$

— パルティバンラジェンドラン

16

ここには多くの良い答えがあります。しかし、（少なくとも明示的には）述べられていない仮定が1つあると思います。具体的には、回帰モデルでは、（説明変数または予測変数の値）が固定され、既知であり、状況の不確実性がすべて変数内に存在すると想定しています。さらに、この不確実性はサンプリングエラーのみであると想定されています。 $\mathbf X$ $Y$

これについて考える2つの方法があります：説明モデルを構築している場合（実験結果のモデリング）、独立変数を操作/管理しているため、独立変数のレベルが正確にわかります。さらに、データの収集を開始する前に、それらのレベルを決定しました。したがって、関係内の不確実性すべてを、応答内に存在するものとして概念化しています。一方、予測モデルを構築している場合は状況が異なることは事実ですが、予測子を修正して既知であるかのように扱います。これは、将来、モデルを使用して予測を行うときにの可能性のある値については、ベクトル $y$ $\mathbf x$ 、モデルはそれらの値を正しいものとして扱うように設計されています。つまり、不確実性は未知の値であると考えられます。 $y$

これらの仮定は、原型回帰モデルの方程式に見られるで（おそらく測定誤差に）不確実性モデル同様に、同じデータ生成処理を持っているかもしれないが、モデル推定値は次のようになります：ここではランダム測定誤差を表します。（後者のような状況では、変数モデルのエラーが発生します。基本的な結果は、に測定エラーがある場合、単純な

y_{i} = β_{0} + β_{1} x_{i} + ε_{i}

$y_i = \beta_0 + \beta_1x_i + \varepsilon_i$

x

$x$

y_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} (x_{i} + η_{i}) + {\hat{ε}}_{i},

$y_i = \hat\beta_0 + \hat\beta_1(x_i + \eta_i) + \hat\varepsilon_i,$

η

$\eta$

x

$x$

{\hat{β}}_{1}

$\hat\beta_1$ 減衰されます-その真の値よりも0に近く、に測定誤差がある場合、の統計的検定はパワー不足になりますが、それ以外はバイアスがかかりません。）

y

$y$

\hat{β}

$\hat\beta$

典型的な仮定に固有非対称の一つの実用的な結果は、回帰することである上に退行異なる上に。（ここでの私の答えを参照してください：この事実のより詳細な議論については、xを使ったyとyを使ったxで線形回帰を行うことの違いは何ですか？） $y$ $x$ $x$ $y$

— gung-モニカの復職
ソース

「固定」とはどういう意味ですか| 平易な言葉で「ランダム」？そして、固定効果とランダム効果（=因子）を区別する方法は？私の設計では、5つのレベルを持つ1つの固定既知係数があると思います。右？

— スタン

1

@stan、あなたの混乱を認識しています。統計の用語はしばしば混乱し、役に立たない。この場合、「固定」は「固定効果とランダム効果」で修正されたものとはまったく同じではありません（ただし、それらは関連しています）。ここでは、効果についてではなく、データ、つまり、予測変数/説明変数について述べています。データが修正されるという考えを理解する最も簡単な方法は、計画された実験を考えることです。実験を計画するとき、何かを行う前に、説明のレベルを決定しますが、途中でそれらを発見することはありません。

X

$X$

X

$X$

— GUNG -モニカ元に戻し

W /予測モデリング、それはまったく真実ではありませんが、モデルを使用して予測を行う場合、将来的にデータをそのように扱います。

X

$X$

— GUNG -モニカ元に戻し

なぜβとεは下の方程式にハットがあり、上の方程式にはハットがないのですか？

— user1205901

2

@ user1205901、上のモデルはデータ生成プロセスのもので、下のモデルはあなたの推定値です。

— GUNG -モニカ元に戻し

8

古典的な線形回帰モデルの仮定には以下が含まれます。

線形パラメーターと正しいモデル仕様
X行列のフルランク
説明変数は外生的でなければならない
独立した同一の分布エラー条件
母集団の正規分布エラー用語

ここでの回答は、古典的なOLSの仮定の概要をすでに十分に提供していますが、古典的な線形回帰モデルの仮定のより包括的な説明をここで見つけることができます。

https://economictheoryblog.com/2015/04/01/ols_assumptions/

さらに、この記事では、特定の仮定に違反した場合の結果について説明しています。

— トリシャン・オナリ
ソース

6

OLSを正当化するために、異なる仮定を使用できます

状況によっては、作者は残差の正規性をテストします。
- しかし、他の状況では、残差は正常ではなく、作者はとにかくOLSを使用します！
等分散性が仮定であると言っているテキストが表示されます。
- しかし、ホモ分散性が侵害されている場合、研究者はOLSを使用しています。

何が得られますか？！

答えは、通常の最小二乗（OLS）推定の使用を正当化するために、多少異なる仮定のセットを使用できるということです。OLSはハンマーのようなツールです。釘にハンマーを使用できますが、ペグに使用したり、氷を砕いたりすることもできます。

仮定の2つの広いカテゴリは、小さなサンプルに適用されるものと、中央の制限定理を適用できるように大きなサンプルに依存するものです。

1.小さなサンプルの仮定

Hayashi（2000）で議論されている小さなサンプルの仮定は次のとおりです。

直線性
厳密な外因性
多重共線性なし
球面誤差（同相性）

（1）-（4）の下では、ガウスマルコフの定理が適用され、通常の最小二乗推定量は最良の線形不偏推定量です。

エラー項の正規性

さらに、通常の誤差項を仮定すると、仮説検定が可能になります。エラー条件が条件付きで正常な場合、OLS推定器の分布も条件付きで正常です。

もう1つの注目すべき点は、正規性がある場合、OLS推定量は最尤推定量でもあるということです。

2.大規模なサンプルの仮定

多数の法則（OLS推定器の一貫性のため）と中心極限定理（OLS推定器のサンプリング分布が次のように収束するように）正規分布と仮説検定を行うことができ、p値などについて話すことができます）。

林はマクロ経済学者であり、彼の大規模なサンプルの仮定は、時系列コンテキストを念頭に置いて定式化されています。

直線性
エルゴードの定常性
事前定義されたリグレッサ：エラー条件は、同時発生のエラー条件に直交しています。
$\operatorname{E}[\mathbf{x}\mathbf{x}']$ はフルランクです
$\mathbf{x}_i \epsilon_i$ は、有限の2次モーメントを持つマルチンゲール差分シーケンスです。
リグレッサーの有限4番目の瞬間

たとえば、これらの仮定のより強力なバージョンが発生する場合があります。たとえば、エラー用語は独立しています。

適切な大規模なサンプルの仮定により、漸近的に正規のOLS推定量のサンプリング分布が得られます。

参照資料

林文雄、2000年、計量経済学

— マシュー・ガン
ソース

5

モデルで何をしたいのかがすべてです。エラーが正に歪んでいる/正常でない場合を想像してください。予測間隔を作成する場合は、t分布を使用するよりも効果的です。予測値が小さくても分散が小さい場合は、予測間隔が大きすぎることになります。

仮定が存在する理由を理解する方が良いでしょう。

— アダム
ソース

4

次の図は、有限および漸近のシナリオでどのような影響を得るためにどの仮定が必要かを示しています。

仮定が何であるかだけでなく、それらの仮定がどのような意味を持つのかを考えることも重要だと思います。たとえば、偏りのない係数のみに関心がある場合は、等分散性は必要ありません。

— DVL
ソース

2

以下は、線形回帰分析の前提です。

正しい仕様。線形関数形式が正しく指定されています。

厳密な外因性。回帰のエラーには、条件付き平均ゼロが必要です。

多重共線性はありません。Xのリグレッサはすべて線形独立でなければなりません。

ホモセダスティック性。これは、誤差項が各観測値で同じ分散を持つことを意味します。

自己相関なし：エラーは観測間で無相関です。

正常。誤差は、リグレッサを条件とする正規分布を持っているとさらに仮定される場合があります。

Iidの観測：は、すべてのに対して独立しており、と同じ分布を持ちます。 $(x_i, y_i)$ $(x_j, y_j)$ $i\neq j$

詳細については、このページをご覧ください。

— 愛の統計
ソース

4

「多重共線形性なし」ではなく、「線形依存性なし」と言います。共線性は、多くの場合、カテゴリー的な尺度ではなく連続的な尺度として使用されます。禁止されているのは、厳密または厳密な共線性のみです。

— ピーターフロム-モニカの復職

2

時系列回帰はどうですか？一般化最小二乗はどうですか？最小二乗推定値の一貫性と漸近正規性のみに注意を払う場合、実際には最後の4つの仮定があまりにも制限的である場合、あなたのリストは戒律のリストに少し似ています。

— mpiktas

1

多重共線性は、解釈の問題（一部のパラメーターの識別可能性に関連する）を引き起こしますが、それは間違いなく線形回帰モデルの標準的な仮定ではありません。近多重共線性は主に計算上の問題ですが、同様の解釈の問題も発生します。

— whuber

@whuber＆Peter Flom：グジャラート語の本のページno。65-75。tiny.cc/cwb2g 回帰分析の仮定として「多重共線性なし」をカウントします。

— 愛の統計情報

@mpiktas：回答で指定されたURLにアクセスすると、時系列回帰に関する仮定が見つかります。

— 愛の統計

2

仮定の単一のリストのようなものはありません。少なくとも2つあります：1つは固定用、もう1つはランダムな設計マトリックス用です。さらに、時系列回帰の仮定を確認することもできます（p.13を参照）

設計行列が固定されている場合は、最も一般的なものである可能性があり、その仮定はしばしばガウスマルコフの定理として表されます。設計が固定されているため、リグレッサを本当に制御できます。たとえば、実験を行い、温度や圧力などのパラメーターを設定できます。こちらの p.13も参照してください。 $X$

残念ながら、経済学などの社会科学では、実験のパラメーターを制御することはほとんどできません。通常、経済で何が起こるかを観察し、環境指標を記録してから、それらを回帰します。ランダムデザインと呼ばれる、非常に異なった、より困難な状況であることがわかりました。この場合、ガウス-マルコフの定理は修正され、ここの p.12も参照してください。条件付き確率の観点から条件がどのように表現されるかを確認できますが、これは無害な変更ではありません。

計量経済学では、仮定の名前は次のとおりです。

直線性
厳密な外因性
多重共線性なし
球面誤差分散（等分散性と相関なしを含む）

正常性については言及していません。これは標準的な仮定ではありません。いくつかの派生を簡単にするため、イントロ回帰コースでよく使用されますが、回帰が機能し、優れたプロパティを持っている必要はありません。

— アクサカル
ソース

1

線形性の仮定は、モデルがパラメーターで線形であることです。独立変数のべき関数が線形加法モデルの一部である限り、二次または高次の効果を持つ回帰モデルを持つことは問題ありません。必要なときにモデルに高次の項が含まれていない場合、残差のプロットで適合性の欠如が明らかになります。ただし、標準回帰モデルには、独立変数がパラメーターの累乗になるモデルは組み込まれません（ただし、このようなモデルを評価するために使用できる他のアプローチがあります）。このようなモデルには、非線形パラメーターが含まれています。

— StatisticsDocコンサルティング
ソース

1

最小二乗回帰係数は、あらゆる種類のデータの1次トレンドを要約する方法を提供します。@mpiktasの答えは、最小二乗法がますます最適になる条件の徹底的な処理です。私は他の方法で、最小二乗が機能する最も一般的なケースを示したいと思います。最小二乗方程式の最も一般的な定式化を見てみましょう。

E [Y | X] = α + β X

$E[Y|X] = \alpha + \beta X$

これは、応答の条件付き平均の単なる線形モデルです。

注：エラーの用語に反しています。の不確実性を要約したい場合は、中心極限定理に訴えなければなりません。リンデバーグ条件が満たされると、最小二乗推定器の最も一般的なクラスは通常に収束します。つまり、最小二乗のリンデバーグ条件では、二乗残差の合計に対する最大二乗残差の割合が0になる必要があります。。設計がますます多くの残留物をサンプリングし続ける場合、実験は「水中で死んでいます」。 $\beta$ $n \rightarrow \infty$

Lindebergの条件が満たされると、回帰パラメーターは適切に定義され、推定器は既知の近似分布を持つ不偏推定器です。より効率的な推定器が存在する場合があります。不均一分散または相関データの他のケースでは、通常、重み付き推定量がより効率的です。それが、より良い方法が利用できる場合、私がナイーブな方法を使用することを決して支持しない理由です。しかし、彼らはしばしばそうではありません！ $\beta$ $\hat{\beta}$

— AdamO
ソース

1

計量経済学者にとって：この条件は厳密な外因性を意味することを指摘する価値があるので、厳密な外因性は条件付き平均モデルの仮定として述べる必要はありません。それは数学的には自動的に真実です。（推定ではなく、ここで理論を話します。）

— ピーターウェストフォール

線形回帰の通常の仮定の完全なリストは何ですか？

OLSを正当化するために、異なる仮定を使用できます

1.小さなサンプルの仮定

2.大規模なサンプルの仮定

参照資料