変量効果と固定効果の数学的な違いは何ですか？

26

ランダム効果と固定効果の解釈に関して、インターネット上で多くのことを発見しました。ただし、以下をピン留めするソースを取得できませんでした。

変量効果と固定効果の数学的な違いは何ですか？

つまり、モデルの数学的定式化とパラメーターの推定方法を意味します。

— ジョケル
ソース

1

さて、固定効果は共同分布の平均に影響し、ランダム効果は分散と関連構造に影響します。「数学的な違い」とはどういう意味ですか？可能性がどのように変化するかを尋ねていますか？もっと具体的に教えてください。

— マクロ

興味深い可能性：ランダム効果、固定効果、および限界モデルの違いは何ですか？

— GUNG -復活モニカ

1

関連：固定効果モデル、ランダム効果モデル、混合効果モデルの違いは何ですか？

— アメーバは、モニカーを復活させる

1

質問は、描かれている背景を区別していないようです。Panel Data Economicsのこの用語は、Multilevel Modelsを使用する他の社会科学の用語とは異なります。この質問にはさらに説明が必要です。それ以外の場合、これは、関連分野に代替定義があることを知らずに、いずれかの背景からここに到着する人々にとって誤解を招くものです。

— ルチョナチョ

20

ランダム効果のある最も簡単なモデルは、分布観測によって与えられるランダム効果のある一元配置分散分析モデルです： $y_{ij}$

(y_{i j} ∣ μ_{i}) \sim_{iid} N (μ_{i}, σ_{w}^{2}), j = 1, \dots, J, μ_{i} \sim_{iid} N (μ, σ_{b}^{2}), i = 1, \dots, I .

$(y_{ij} \mid \mu_i) \sim_{\text{iid}} {\cal N}(\mu_i, \sigma^2_w), \quad j=1,\ldots,J, \qquad \mu_i \sim_{\text{iid}} {\cal N}(\mu, \sigma^2_b), \quad i=1,\ldots,I.$

ここで、ランダム効果はです。これらはランダム変数ですが、ANOVAモデルでは固定効果を持つ固定数です。 $\mu_i$

たとえば、研究所の3人の技術者それぞれが一連の測定値を記録し、は技術者番目の測定値です。、技術者生成したシリーズの「真の平均値」と呼びます。これは少し人工的なパラメータです。は、技術者が膨大な一連の測定値を記録した場合に得られる平均値として見ることができます。 $i=1,2,3$ $y_{ij}$ $j$ $i$ $\mu_i$ $i$ $\mu_i$ $i$

（たとえば、演算子間のバイアスを評価するために）、、評価に興味がある場合は、固定効果のあるANOVAモデルを使用する必要があります。 $\mu_1$ $\mu_2$ $\mu_3$

モデルを定義する分散および、および合計分散（以下を参照）に関心がある場合、変量効果を持つANOVAモデルを使用する必要があります。分散は1人の技術者によって生成された録音の分散であり（すべての技術者で同じであると想定されます）、は技術者間分散と呼ばれます。理想的には、技術者をランダムに選択する必要があります。 $\sigma^2_w$ $\sigma^2_b$ $\sigma^2_b+\sigma^2_w$ $\sigma^2_w$ $\sigma^2_b$

このモデルは、データサンプルの分散式の分解を反映しています。ここに画像の説明を入力してください

合計分散=平均の分散内部分散の平均 $+$

これは、ランダム効果のあるANOVAモデルに反映されます。ここに画像の説明を入力してください

実際、の分布は、与えられた条件付き分布と分布によって定義されます。1を計算の"無条件"分布場合我々は発見が。 $y_{ij}$ $(y_{ij})$ $\mu_i$ $\mu_i$ $y_{ij}$ $\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

より良い写真については、スライド24とスライド25を参照してください（オーバーレイを理解するにはPDFファイルを保存する必要があります。オンラインバージョンは視聴しないでください）。

— ステファン・ローラン
ソース

1

（+1）とても素敵な数字！

— アメーバは、モニカを復活させる14

1

@amoebaありがとう、慣性モーメントのための私のコードは私のブログに空くは次のとおりです。stla.github.io/stlapblog/posts/Variance_inertia.html

— ステファン・ローラン

μ

$\mu$

σ

$\sigma$

σ

$\sigma$

σ

$\sigma$

σ

$\sigma$

μ_{i}

$\mu_i$

σ_{b}^{2}

$\sigma_b^2$

μ_{i}

$\mu_i$

σ_{w}^{2}

$\sigma_w^2$

16

基本的に、因子をランダムにモデル化する場合の最も明確な違いは、効果は一般的な正規分布から引き出されると想定されることです。

たとえば、成績に関する何らかのモデルがあり、さまざまな学校からの生徒データを考慮に入れ、ランダムな要因として学校をモデル化する場合、これは学校ごとの平均が正規分布していると仮定することを意味します。これは、2つの変動要因がモデリングされていることを意味します。生徒の学年の学校内変動と学校間変動です。

これにより、部分プーリングと呼ばれるものが生じます。2つの極端な例を考えてみましょう。

学校には何の影響もありません（学校間のばらつきはゼロです）。この場合、学校を考慮しない線形モデルが最適です。
学校のばらつきは、学生のばらつきよりも大きくなっています。その後、基本的に、学生レベルではなく学校レベルで作業する必要があります（＃サンプル未満）。これは基本的に、固定効果を使用して学校を説明するモデルです。学校ごとにサンプルが少ない場合、これは問題になる可能性があります。

両方のレベルで変動性を推定することにより、混合モデルはこれらの2つのアプローチ間の賢明な妥協を行います。特に、学校あたりの生徒数がそれほど多くない場合、モデル2によって推定される個々の学校の効果がモデル1の全体的な平均に向かって縮小することを意味します。

それは、モデルが2人の生徒を含む1つの学校があり、それが学校の人口にとって「正常」なものよりも優れている場合、この効果の一部は選択で幸運だった学校によって説明される可能性が高いからです見た2人の学生のうち。盲目的にこれを行うのではなく、学校内のばらつきの推定に応じて行います。これは、サンプル数の少ない効果レベルが、大規模な学校よりも全体平均に強く引き付けられることも意味します。

重要なことは、ランダム要素のレベルで交換可能性が必要なことです。つまり、この場合、学校は（あなたの知る限り）交換可能であり、あなたがそれらを区別するものは何も知らないことを意味します（何らかのIDを除く）。追加の情報がある場合は、これを追加の要素として含めることができますが、説明されている他の情報を条件として学校が交換可能であれば十分です。

たとえば、ニューヨークに住んでいる30歳の大人は性別を条件に交換可能であると想定するのは理にかなっています。より多くの情報（年齢、民族、教育）がある場合は、その情報も含めることは理にかなっています。

OTH 1つのコントロールグループと3つの大きく異なる疾患グループで研究している場合、特定の疾患は交換できないため、グループをランダムにモデル化することは意味がありません。しかし、多くの人々は収縮効果を非常に好んでいるため、ランダム効果モデルについてはまだ議論していますが、それは別の話です。

私は数学にあまり深く入り込んでいないことに気付きますが、基本的に違いは、ランダム効果モデルは学校のレベルと生徒のレベルの両方で正規分布の誤差を推定したのに対して、固定効果モデルには誤差があります学生のレベル。特に、これは、各学校に共通の分布によって他のレベルに接続されていない独自のレベルがあることを意味します。また、これは、固定モデルでは元のデータに含まれていない学校の生徒への外挿が許可されていないが、ランダム効果モデルではそうであり、生徒レベルと学校レベルの変動の合計である変動があることを意味します。可能性に特に興味があるなら、私たちはそれで働くことができます。

— エリック
ソース

1

（+1）すばらしい答え。これは驚くほど投票率が低い。紛らわしいタイプミスに気づいた：「除外された」は「含まれた」と読むべきだ。それとは別に：学校をランダム効果と固定効果として扱うことの間に予想される実際的な違いは何でしょうか？固定として扱うことは、新しい学校の生徒の成績を予測できないことを理解していますが、利用可能なデータの違いはどうですか？他の固定効果は、学生の性別、人種、および体重（何でも）であるとしましょう。学校をランダム/固定として扱うことは、主な効果または関心のある相互作用の力に影響しますか？他に違いはありますか？

— アメーバは、モニカを復活させる14

3

@amoeba一貫性はさておき、学生レベルの係数のMSEは、とりわけ、学生Xとランダム効果、クラスター数などの間の相関レベルに応じて、ランダム効果モデルと固定効果モデルで効率が向上する場合があります。クラークとリンツ2012は、シミュレーション結果を持っています。

— 共役

1

@conjugatepriorうわー、このコメントをありがとう！リンクされた論文を読みましたが、これは私が見た問題の最も明確な説明です。私はここでCVの固定/ランダム効果についてさまざまなスレッドを読んでかなりの時間を費やしましたが、いつ他のスレッドを使用するべきか、なぜ使用するべきかを理解できませんでした。C＆Lを読むことで、多くのことがより明確になりました。この論文や関連論文の要約を示すCVのどこかに答えを書きたいと思いますか？最も投票数の多い[mixed-model]スレッドで賞金をかけていますが、他のスレッドも喜んで受賞します。

— アメーバは、

@Erik、「部分教育」を「部分プーリング」に修正するために編集しました。それはタイプミスだったと思いますが、意図されたしゃれだったらおologiesびします！

— アメーバは、モニカを

2

エコランドでは、このような影響は観測されない個人固有の切片（または定数）ですが、パネルデータを使用して推定することができます（同じユニットの繰り返し観測）。固定効果の推定方法により、ユニット固有の切片と独立した説明変数との相関が可能になります。ランダム効果はありません。より柔軟な固定効果を使用するコストは、時不変の変数（性別、宗教、人種など）の係数を推定できないことです。

NBその他のフィールドには独自の用語があり、かなり混乱する可能性があります。

— ディミトリイ・V・マスタロフ
ソース

（-1）これは、固定とランダム効果の間の数学的差異については何も述べていません

— マクロの

1

@マクロ合意。それが現れる前に、econの用語がOPが探しているものであるかどうかを知ることは役に立つでしょう。私はそれについてもっと明確にすべきだった。

— Dimitriy V. Masterov

OK。その場合、これはコメントとしてより適切かもしれません、あなたは言いませんか？

— マクロ

「より柔軟な固定効果を使用することのコストは、時間不変の変数の係数を推定できないことです」というのは事実ではありません。私は、あなたが個人と、時間変化のない単一のバイナリ予測子で繰り返し測定を行うシミュレーションを行いました。IDの固定効果とバイナリ予測子の固定効果を含めると、バイナリ予測子の係数を推定できます（ただし、繰り返し測定値が多くない場合、推定値は大きな標準誤差）。

— マクロ

3

（経済学者ではありません）アンドリュー・ゲルマン、リスト彼のANOVA紙で5つの明確な定義：stat.columbia.edu/~gelman/research/published/banova7.pdf。

— Dimitriy V. Masterov

2

標準ソフトウェアパッケージ（Rなどlmer）では、基本的な違いは次のとおりです。

固定効果は最尤法（線形モデルの最小二乗法）によって推定されます
ランダム効果は経験的ベイズによって推定されます（線形モデルの場合、収縮パラメータが最大尤度によって選択される最小の二乗）

ベイジアンの場合（WinBUGSなど）、実際の違いはありません。

— サイモン・バーン
ソース

3

違いがないことに強く反対します。すべての係数が個別の事前分布をもつベイジアン固定効果モデル、またはハイパーパラメーターがあるベイジアン混合モデルを近似できます。

— エリック

ベイジアンであるなら、違いはこのように見えます。

— 共役

@Simonは、正確でサクサクした答えです。ずっと前に言及すべきだった。

— サブハッシュC.ダバール

-3

@Joke固定効果モデルは、研究（または実験）によって生成された効果サイズが固定されていることを意味します。つまり、介入の測定を繰り返すと同じ効果サイズになります。おそらく、実験の外部条件と内部条件は変更されません。さまざまな条件で多数の試験や研究を行っている場合、効果サイズは異なります。効果サイズのセットの平均と分散のパラメトリック推定は、これらが固定効果であるか、またはランダム効果（スーパーポピュレーションから実現）であると推定することで実現できます。数学的統計の助けを借りて解決できるのは問題だと思います。

— サブハッシュC.ダバール
ソース