ランダム効果、固定効果、および限界モデルの違いは何ですか？

統計の知識を広げようとしています。私は物理学のバックグラウンドから来て、統計的テストへの「レシピベース」アプローチを採用しています。

私の読書では、ランダム効果モデル、固定効果モデル、限界モデルという用語に出くわしました。私の質問は：

非常に簡単に言えば、それらは何ですか？
それらの違いは何ですか？
それらのいずれかは同義語ですか？
OLS回帰、ANOVA、ANCOVAなどの従来のテストは、この分類のどこに該当しますか？

自己学習で次に進むべき場所を決めようとしているだけです。

random-effects-model fixed-effects-model marginal

— N26
ソース

興味深い可能性：固定効果モデル、ランダム効果モデル、混合効果モデルの違いは何ですか？

— chl

@gung：実際に賞金を授与する回答は、固定/ランダム効果の違いに関する「メイン」スレッドのすべての回答を上回っています（上記のコメントにリンクされています）。この質問には40以上の賛成票と25の賛成票で受け入れられた回答がありますが、残念ながらあまり役に立ちません。これらのスレッドをマージする必要がありますか？これは、OP N26が質問の賛成票を失うことを意味すると思いますが、彼らのアカウントはもうアクティブではないようです。何が最善の行動かわからない。

— アメーバは2014

@amoebaに感謝します。これも注目に値すると思います。その質問は、同様のタイトルですが、実際にはわずかに異なっていると思われます（おそらくタイトルが間違っています）。これらをマージする権限がありません。このスレッドにリンクするコメントを追加しました。meta.CVのこれらのスレッドで何をすべきかという疑問を提起してみてはいかがでしょうか。

— GUNG -復活モニカ

回答:

この質問はこのサイトで以下のように部分的に議論されており、意見はまちまちのようです。

すべての用語は通常、縦断/パネル/クラスター化/階層化されたデータと反復測定（高度な回帰とANOVAの形式）に関連していますが、異なるコンテキストでは複数の意味があります。私の知識に基づいて式で質問に答えたいと思います。

固定効果モデル

生物統計学では、以下の式（*）でとして示される固定効果は、通常、ランダム効果と一緒になります。ただし、固定効果モデルは、Hedeker and Gibbonsの縦断的データ分析（2006）のように、断面設定のように観測が独立していると仮定するように定義されています。 $\color{red}{\boldsymbol\beta}$
計量経済学では、固定効果モデルはように記述できます。は各被験者の固定（ランダムではない）インターセプト（）であるか、反復測定（）ごとにとして固定効果を持つこともできます。は共変量を示します。 $y_{i j} = x_{i j}^{^{'}} β + u_{i} + ϵ_{i j}$ $y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$ $\color{red}{u_i}$ $i$ $u_j$ $j$ $\boldsymbol x_{ij}$
メタ分析では、固定効果モデルは、基礎となる効果がすべての研究で同じであると仮定しています（例：Mantel and Haenszel、1959）。

変量効果モデル

生物統計学では、変量効果モデル（Laird and Ware、1982）はとして記述できますここで、は分布に従うと想定されます。は固定効果の共変量を示し、は変量効果の共変量を示します。 $\begin{matrix} (*) & y_{i j} = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} + e_{i j} \end{matrix}$ $\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$ $\color{blue}{\boldsymbol u_i}$ $\boldsymbol x_{ij}$ $\boldsymbol z_{ij}$
計量経済学では、変量効果モデルは生物統計学のようにランダム切片モデルのみを参照できます。つまり、、はスカラーです。 $\boldsymbol z_{ij}^{'}=1$ $\boldsymbol u_i$
メタ分析では、変量効果モデルは研究全体で不均一な効果を想定しています（DerSimonian and Laird、1986）。

限界モデル

一般に、限界モデルは条件付きモデル（変量効果モデル）と比較され、前者は母平均に焦点を当てています（例として線形モデルを採用）後者は条件付き平均限界モデルと変量効果モデル間の回帰係数の解釈とスケールは、非線形モデルでは異なります（ロジスティック回帰など）。ましょう次に、

E (y_{i j}) = x_{i j}^{^{'}} β,

$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$

E (y_{i j} | u_{i}) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} .

$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$

h (E (y_{i j} | u_{i})) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i}

$h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$

E (y_{i j}) = E (E (y_{i j} | u_{i})) = E (h^{- 1} (x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i})) \neq h^{- 1} (x_{i j}^{^{'}} β),

$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$ ただし、リンク関数が恒等リンク（線形モデルない場合）、または（変量効果なし）。良い例としては、一般化された推定方程式（GEE; Zeger、Liang、Albert、1988）や周辺化されたマルチレベルモデル（Heagerty and Zeger、2000）があります。

h

$h$

u_{i} = 0

$u_i=0$

— ランデル
ソース

ありがとう、ランデル。「混合モデル」の用語に関するもう1つの質問。私の知る限り、生物統計学では、ランダムな効果と固定効果の両方が含まれているため、方程式（*）は混合モデルと呼ばれます。あれは正しいですか？しかし、「混合モデル」という用語は計量経済学でも使用されていますか？もしそうなら、それは何を指しますか？

— アメーバは、モニカ

はい、方程式（*）は（生物）統計では混合モデルとも呼ばれます。私の知る限り、経済学者はそれを「混合モデル」と呼ぶのではなく、クラスターの不均一性に関心がある場合は「ランダム効果モデル」または「ランダム係数モデル」と呼ぶかもしれません。私にとって唯一の違いは、クラスター固有の効果、固定またはランダムの仮定です。

— ランデル

@skan z_は、変量効果の共変量を示します。これはベクトルであり、は転置です。

z_{i j}

$\boldsymbol z_{ij}$

z_{i j}^{^{'}}

$\boldsymbol z_{ij}^{'}$

— ランデル

ここでは詳細な例です。それが役に立てば幸い。@skan-

— ランデル

@skan両方を持つことはお勧めできません。どちらでも十分です。これが完璧な例です。

— ランデル

ここで間違っている場合は修正してください：

概念的には、固定インターセプト、固定係数、ランダムインターセプト、ランダム係数の4つの効果があります。ほとんどの回帰モデルは「ランダム効果」であるため、ランダムな切片とランダムな係数があります。「固定効果」とは対照的に、「ランダム効果」という用語が使用されるようになりました。

「固定効果」とは、変数がすべてではなくサンプルの一部に影響を与える場合です。（概念的に）固定効果モデルの最も単純なバージョンは、バイナリ値を持つ固定効果のダミー変数です。これらのモデルには、単一のランダム切片、固定効果係数、およびランダム変数係数があります。

複雑さの次の層（概念的に）は、固定効果がバイナリではなく、多くの値を持つ名目上の場合です。この場合、生成されるのは、多くの切片（各公称値に1つ）を持つモデルです。これは、パネルデータモデルの古典的な「複数行」を取得する場所であり、固定効果変数の「オプション」のそれぞれが独自の効果を取得します。（固定効果の各因子を独自の回帰として行うのではなく）さまざまな因子固有のデータシリーズをすべて単一の回帰にスローすることの利点は、1つの方程式ですべての異なる効果の分散をプールすることです。すべての係数に対してより良い（より確実な）値を取得します。

複雑さの「ティア3」は、「固定効果」自体がランダム変数である場合です。ただし、その効果は「固定」され、サンプルのサブセットのみに影響します。この時点で、モデルにはランダムインターセプト、複数の固定インターセプト、および複数のランダム変数があります。これは「混合効果」モデルとして知られているものだと思いますか？

「混合効果」モデルは、マルチレベルモデリング（MLM）に使用されます。「固定効果」は、データのサブセットを別のサブセットにネストするために使用できるためです。このグループ化は複数の層を持つことができ、生徒は教室内にネストされ、学校内にネストされます。学校は教室に対する固定効果であり、生徒に対する教室です。（学校は、実験デザインに応じて、生徒に対する固定効果である場合とそうでない場合があります-不明）

パネルデータモデルは「混合効果」モデルですが、グループ化には2つのディメンション、通常は時間と何らかのカテゴリを使用します。

— モックス
ソース

「固定効果は選択肢の「セット」をカバーします：AまたはB; ...ランダム効果には体重などが含まれます」の意味がわかりません。固定効果は離散変数に、ランダム効果は連続変数に使用されるということですか？また、「同じものに複数のダミー変数を使用することが統計的に不適切」である理由もわかりません。計量経済学の固定効果モデルには、「パネル」ごとにダミー変数があります。「「混合」モデル...グループ化による「固定」インターセプトがあるため、ランダムなインターセプトがなくなりました」とも同意できません。多くの混合効果モデルには、ランダムな切片があります。

— ランデル

私の理解は不完全です。応答を編集して、再試行します。

— モックス

変数が固定効果とランダム効果として同時に表示される可能性はありますか？

— スカン

< theanalysisfactor.com/mixed-models-predictor-both-fixed-random >は「はい」と言います。

— モックス