混合モデルのパラメーター推定に関する直観（分散パラメーターと条件付きモード）

ランダム効果（たとえば、被験者のBLUP /条件付きモード）は線形混合効果モデルのパラメーターではなく、推定された分散/共分散パラメーターから導出できることを何度も読みました。例えば、ラインホルト・クリーグル等。（2011）状態：

変量効果は、被験者の総平均RTからの偏差と被験者の固定効果パラメーターからの偏差です。これらは独立して、通常は0の平均これらのランダムな効果があることを認識することが重要であると一緒に配布されると仮定されているではない だけでその分散と共分散がある- LMMのパラメータ。[...] LMMパラメーターを被験者のデータと組み合わせて使用すると、被験者ごとにランダム効果の「予測」（条件付きモード）を生成できます。

誰かが実際にランダム効果を使用/推定せずにランダム効果の（共）分散パラメーターを推定する方法を直感的に説明できますか？

mixed-model intuition blup

— シュタットマークール
ソース

回答:

混合モデル線形シンプルに考えてみましょう、私たちはの依存性を見積もる例えばAランダム切片モデル上異なる被験者では、各被験者は、自分のランダム切片持っていることを前提としていますここでインターセプトガウス分布から来るとしてモデル化されるとランダムノイズもガウス分布である $y$ $x$

y = a + b x + c_{i} + ϵ .

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$

c_{i} \sim N (0, τ^{2})

$c_i\sim \mathcal N(0, \tau^2)$

で構文このモデルは次のように記述されるだろう。

ϵ \sim N (0, σ^{2}) .

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

上記を次のように書き換えることは有益です。

\begin{matrix} y ∣ c \sim N (a + b x + c, σ^{2}) \\ c \sim N (0, τ^{2}) \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

これは、同じ確率モデルを指定するより正式な方法です。この定式化から、ランダム効果は「パラメーター」ではないことが直接わかります。これらは観測されていないランダム変数です。の値を知らずに分散パラメーターを推定するにはどうすればよいですか $c_i$ $c$ でしょうか？

上記の最初の式は、与えられたの条件付き分布を説明していることに注意してください。との分布がわかっている場合、を積分することでの無条件分布を計算でき。あなたはそれを総確率の法則として知っているかもしれません。両方の分布がガウス分布の場合、結果の無条件分布もガウス分布になります。 $y$ $c$ $c$ $y\mid c$ $y$ $c$

$\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

y \sim N (a + b x, Σ)

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$

c_{i}

$c_i$

$a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$ 。混合モデルの出力に表示されるのは、これらの分布のモード、つまり条件付きモードです。

— アメーバはモニカを復活させると言う
ソース

y \sim N (a + b x, σ^{2} I)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

y \sim N (a + b x, Σ)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$ 私はこれを動作する小さな例を想像しますアウトはいいかもしれません。私は自分でこれを作成することを検討していますが、おそらくそのような例を既に示しているリソースがあります（誰か？）。

c

$c$

c

$c$

c

$c$

統合のステップがとれないと思います。@Martijn Weteringsが少し（Rコード）の例または参考文献を指摘したように、これは素晴らしいことだとわかるでしょう！

— statmerkur

私の答えを受け入れて、賞金@statmerkurを授与してくれてありがとう。しかし、それが不明瞭なままであるのは残念です。例を考えてみます。回答を更新したら、pingを送信します。

— アメーバは、

@statmerkurこの質問に対する答えで、混合効果モデルの手動計算を示します（尤度関数を記述するという意味で手動、最適化はRの標準最適化関数によって行われます） stats.stackexchange.com/a/ 337348/164061

— セクストゥス

固定効果を使用すると、変量効果に依存せずに分散と共分散パラメーターを簡単に推定できます（固定効果と変量効果の説明についてこちらを。これらの用語には異なる定義があることに注意してください）。

固定効果は、各グループ（または各期間、またはランダム効果として使用することを考えているもの）に（バイナリ）インジケータ変数を追加することで簡単に導き出すことができます;これは、変換内同等です。これにより、固定効果（パラメーターとして表示できる）を簡単に推定できます。

固定効果の仮定では、固定効果の分布を仮定する必要はありませんが、固定効果の分散を簡単に推定できます（ただし、各グループ内の観測数が少ない場合、この極端なノイズは最小化されます。これらの指標変数を追加することにより、各グループの自由度が1つ失われるため、変量効果と比較してはるかに大きな分散の費用のバイアス）。固定効果の異なるセット間、または固定効果と他の共変量間の共分散を推定することもできます。たとえば、次のような論文でそれを行いました。、ドイツブンデスリーガの競争力のあるバランスとアソシエイティブマッチングで、より良いサッカー選手がより良いチームのためにプレーするかどうかを推定しました。

変量効果には、共分散に関する事前の仮定が必要です。古典的な変量効果モデルでは、変量効果はエラーのようであり、他の共変量から独立していると仮定します（したがって、それらを無視してOLSを使用し、仮定が他のパラメーターの非効率な推定値であるにもかかわらず、一貫性を保つことができます変量効果モデルの

さらに詳しい技術情報はこちらから入手できます。アンドリュー・ゲルマンは、これに関する多くの直観的な研究も彼の素敵な本で紹介しています回帰とマルチレベル/階層モデルを使用したデータ分析

— アルネ・ジョナス・ウォーンケ
ソース

私は、ランダム効果の（共）分散パラメーターを参照しています（私の編集を参照）。

— statmerkur

これが質問に答えるとは思わない。

— アメーバは、