混合モデルから予測を行うとき、変量効果に不確実性を組み込むことが難しいのはなぜですか？

R lme4とnlmeでの予測の信頼区間の取得について、R-sig-MEにはいくつかのスレッドがあります。たとえば、こことここ 2010年には、両方のパッケージの作成者の1人であるDougals Batesによる解説が含まれています。文脈から外されるのを恐れて、私は彼を逐語的に引用するのをためらいますが、とにかく、彼がする1つのコメントは

「あなたは予測にパラメーターと確率変数を組み合わせていますが、それらの予測の変動性を評価することの意味がわかりません。ベイジアンはそれを理解できるかもしれませんが、私はそれを理解することができません。」 https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Bayesian glmmパッケージMCMCglmmは、予測に対して信頼できる間隔を生成できることを知っています。

最近、lme4github のの開発バージョンにpredictメソッドが指定されましたが、次のコメントが付いています：

"@note分散パラメーターに不確実性を組み込む効率的な方法を定義することが難しいため、予測の標準誤差を計算するオプションはありません。このタスクには\ code {\ link {bootMer}}をお勧めします。" https://github.com/lme4/lme4/blob/master/R/predict.R

それで、頻度主義の設定で混合モデルから予測を行うとき、変量効果に不確実性を組み込むことが難しいのはなぜですか？

mixed-model

— Pセラズ
ソース

回答:

予測メソッドのコメントについてはわかりませんが、主な問題は、分散測定自体ではなく、簡単に解釈可能な分散測定の生成に関連しています。ベイツ氏は、あなたがそれを実行できるかどうかについての最初の引用ではコメントしていません。

2レベルの反復測定設計の単純なマルチレベルモデルを考えます。各行が件名である次のデータがあるとします。

ここに画像の説明を入力してください

lmerモデルとして表現することができます。

y ~ x + (1|subject)

xからのy値を固定効果（AとBの差）として予測しています。そして、ランダム効果**を傍受します。グラフを注意深く見て、各被験者（各線の傾き）のx効果にはばらつきがあるが、被験者間のばらつき（各線の高さ）に比べて比較的小さいことに注意してください。

モデルはこれらの2つの変動性のセットを解析し、それぞれに意味があります。ランダム効果を使用して線の高さを予測でき、xの固定効果を使用して勾配を予測できます。2つを組み合わせて、個々のy値を処理することもできます。ただし、傾斜の変動性と線の高さを組み合わせると、モデルに関して意味のないことを実際に行うことはできません。傾斜とラインの高さのばらつきについては、個別に説明する必要があります。これはモデルの機能であり、責任ではありません。

比較的簡単に推定できるxの影響の変動性があります。その周りの信頼区間について何か言うことができます。ただし、この信頼区間は、特定のy値の予測との関係が小さいことに注意してください。これは、y値が、影響と影響の単独の変動性とは異なる対象分散の組み合わせによって影響を受けるためです。

ベイツがあなたが引用したようなことを書いているとき、私は彼がしばしばこれさえアプローチしないはるかに複雑なマルチレベルのデザインを考えていると想像します。しかし、この単純な例だけを考えたとしても、すべての分散測定値を組み合わせることによってどのような本当の意味を抽出できるのか疑問に思います。

**単純化のために切片の固定効果を無視し、ランダム効果として扱います。ランダムで固定された切片のみを使用して、さらに単純なモデルから同様の結論を抽出することもできますが、伝えるのは難しいと思います。その場合も、固定効果と変量効果は何らかの理由で解析され、異なる意味を持ち、それらの変動性を予測値に戻すと、その変動性はモデルに関してほとんど意味がなくなります。

— ジョン
ソース

だから、あなたが言っているのを聞いているのは、これは、サブジェクトの差異をエラーとして扱うのか、それとも個別に分割してそれが存在しないふりをするのかどうかわからないという同じ古い見解に帰着するということです。そうですか？

— russellpierce 2013

私はその古いのこぎりを聞いたことがありません。被験者の相違が存在しないふりをする必要があると聞いたことはありません。しかし、それはこの特定の例に関連していると思います。モデルは分散を解析します。モデリングプロセスのこの機能は、モデルを理解する方法です。分散を再結合すると、そもそもモデルの目的を無効にすることになります。被験者のランダムな効果が分離されているというだけで、被験者の差異を無視しているとは言っていません。Blouin＆Riopelle（2005）を読んで、分散を組み合わせたときにSEの意味がどのように変化するかを確認することをお勧めします。

— John

多分私は何かが足りないかもしれませんが、これは前後の人々がサブジェクト内/反復測定分散分析に使用するのに最適な効果サイズとそれらの信頼区間がどのように最もよくプロットされるかについて非常に似ているようです...しかし私はあなたが私に指摘したことを読んでください。私がもう見逃していることは何でも見逃しません。:)ありがとう。

— russellpierce 2013

私が言ったように、それらは関連しています。前後があるとは知らなかったので、参考にしたいです。実際のところ、あなたが話している2つのCIと効果は、意味が異なります。だから、あなたが意味したいことを伝えるものを使用します。そして、あなたはそれらを賢明に見えるようにする必要があります。[反復測定の設計で被験者の分散を平均の周りに組み込んだCIを使用し、それを使用して反復測定の効果について何かを述べることは理にかなっていると主張することは困難です（一部の人はそうです）]

— John

私は文献には何も見ていません。非公式な手絞りの数が多く、査読者du jourがどう思うかを推測しようとするだけです。

— russellpierce 2013

（一般に非線形）混合効果モデルの固定効果とランダム効果には基本的な違いがあるという一見一般的な見方について長い間疑問に思っていました。この信念は、例えばベイツが次の応答で述べている

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

$L(x,u)$ $g(x,u)$ $P_g(t)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) | g (x, u) = t} \eqno (1)

$P_g(t)=\max_{x,u} \{L(x,u)\ |\ g(x,u)=t \} \eqno(1)$

私は誰もこれに異議を唱えることはないと思います。次に、事前確率分布があるとします。次に、のプロファイル尤度はまだ理にかなっていると主張しますが、事前分布を含めることで（1）を変更する必要があります。 $p(u)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) p (u) | g (x, u) = t} \eqno (2)

$P_g(t)=\max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=t \} \eqno(2)$ なお、以降有するパラメータであります以前は、ランダム効果と呼ばれるものとまったく同じです。それでは、なぜ多くの人がランダム効果パラメータが何らかの形で異なると考えるのでしょうか。私が思う違いは、それらのパラメータ推定の通常の慣行から来ています。ランダム効果が「異なる」のは、多くのモデルにそれらの多くがあるということです。結果として、固定効果（または他のパラメーター）の有用な推定値を取得するには、ランダム効果を別の方法で処理する必要があります。モデルからそれらを統合することです。上記のモデルでは、尤度形成するであろう今

u

$u$

F (x)

$F(x)$

F (x) = \int L (x, u) p (u) d u

$F(x) = \int L(x,u)p(u)du$

u

$u$ なくなっています。したがって、だけが存在する場合、関数のプロファイル尤度について話しても意味がないようです。

F (x)

$F(x)$

g (x, u)

$g(x,u)$

したがって、関数に関する情報を取得するために、パラメーター統合しないでください。しかし、ランダムな効果パラメータが多い場合はどうなりますか。次に、私は「ほとんど」を統合する必要があると主張しますが、私が正確に言う意味でそれらのすべてではありません。構築を動機付けるために、ランダム効果ます。関数がにのみ依存し、実際に考えられる最も単純な関数であるという特別な場合を考えてみます。ランダムな効果を積分して取得します $g(x,u)$ $u$ $n$ $u=(u_1,u_2,...,u_{n-1},u_n)$ $g(x,u)$ $u_n$ $g(x,u)=u_n$ $u_1,u_2,...,u_{n-1}$

F (x, u_{n}) = \int L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n - 1} \eqno (4)

$F(x,u_n) = \int L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_{n-1}\eqno(4)$ これまでどおりプロファイル尤度任意の関数に対して意味を持つようにを一般化する方法。定義ことウェル通知にと同じであるこのメモを参照するには、単純なケースでは、は次と同じです。

P_{g} (t) = max_{x, u_{n}} {F (x, u_{n}) | u_{n} = t} \eqno (3)

$P_g(t)=\max_{x,u_n} \{F(x,u_n) | u_n=t \} \eqno(3)$

(3)

$(3)$

g (x, u)

$g(x,u)$

F (x, u_{n})

$F(x,u_n)$

(4)

$(4)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < g (x, u_{n}) < s + ϵ / 2}} L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n} \eqno (5)

$F(x,s) = \lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<g(x,u_n)<s+\epsilon/2\}} L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_n\eqno(5)$

g (x, u) = u_{n}

$g(x,u)=u_n$

(5)

$(5)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < u_{n} < s + ϵ / 2}} F (x, u_{n}) d u_{n} \eqno (6)

$F(x,s)=\lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<u_n<s+\epsilon/2\}} F(x,u_n)du_n\eqno(6)$

一般的な関数場合、定義された関数を形成し、プロファイル尤度を計算します $g(x,u)$ $F(x,s)$ $(5)$

P_{g} (s) = max_{x, u} {F (x, s) | g (x, u) = s} \eqno (3)

$P_g(s)=\max_{x,u} \{F(x,s) | g(x,u)=s \} \eqno(3)$

このプロファイルの可能性は明確に定義された概念であり、それ自体に基づいています。ただし、実際に役立つためには、少なくともおよそその値を計算できる必要があります。多くのモデルでは、関数はラプラス近似のバリアントを使用して十分に近似できると思います。定義によって、 H を、パラメーターおよびに関する関数の対数のヘッセ行列とします。 $F(x,s)$ $\hat x(s),\hat u(s)$

\hat{x} (s), \hat{u} (s) = max_{x, u} {L (x, u) p (u) | g (x, u) = s}

$\hat x(s),\hat u(s)= \max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=s\}$

- L (x, u) p (u)

$-L(x,u)p(u)$

x

$x$

u

$u$

レベルセットありの次元部分多様体ある次元空間固定効果およびランダム効果。形を、すべてが線形化されるこの多様体に統合する必要があります。これには、基本的な微分幾何学のビットが含まれます。と仮定します。パラメータを再設定することにより、およびと仮定でき。次に、マップを検討してください $g$ $m+n-1$ $n+m$ $m$ $n$ $n$ $du_1\wedge du_2\wedge\ldots\wedge du_n$ $\hat x(s),\hat u(s)$ $g_{x_n}(\hat x(s),\hat u(s))\ne 0$ $\hat x(s)=0$ $\hat u(s)=0$

(x_{1}, x_{2}, \dots, x_{m - 1}, u_{1}, u_{2}, \dots, u_{n}) \to (x_{1}, x_{2}, \dots, x_{m - 1}, \frac{- \sum_{i = 1}^{m - 1} g_{x_{i}} x_{i} - \sum_{i = 1}^{n} g_{u_{i}} u_{i}}{g_{x_{m}}}, u_{1}, u_{2}, \dots, u_{n})

$(x_1,x_2,\ldots,x_{m-1},u_1,u_2,\ldots,u_n) \rightarrow (x_1,x_2,\ldots,x_{m-1}, {-\sum_{i=1}^{m-1}g_{x_i}x_i-\sum_{i=1}^ng_{u_i}u_i\over g_{x_m}}, u_1,u_2,\ldots,u_n)$ ここで、は最大点で評価されたに関するの部分微分を示します。これは、レベルセットの接線空間への次元空間の線形マップです。これを使用して、目的の積分を計算できます。最初に、1フォームは単にそれ自体です。

g_{x_{i}}

$g_{x_i}$

g

$g$

x_{i}

$x_i$

m + n - 1

$m+n-1$

g

$g$

d u_{i}

$du_i$

ヘッセ行列のプルバックは、二次形式

T_{i, j} = H_{i + m, j + m} + \frac{g_{u_{i}} g_{u_{j}}}{{g_{x_{m}}}^{2}} H_{m, m} \rm for 1 <= i, j <= n

$T_{i,j} =H_{i+m,j+m}+{g_{u_i}g_{u_j}\over {g_{x_m}}^2}H_{m,m}\quad \hbox{\rm for} \ 1<=i,j<=n$

したがって、積分は、コレスキー分解を介して計算されるの行列式の対数を含む通常の式であるラプラス近似を介して計算（または近似）できます。積分のラプラス近似の値はで、決定要因です。のレベルセットの幅をとして処理する必要があります最初に、これは値持ちます。ここで、はの偏微分のベクトルです $T$

L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}

$L(\hat x(s),\hat u(s))|-T|^{1\over2}$

| \cdot |

$|\cdot|$

g

$g$

ϵ \to 0

$\epsilon\rightarrow 0$

ϵ / ‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖

$\epsilon/\|\nabla g(\hat x(s),\hat u(s))\|$

\nabla g (\hat{x} (s), \hat{u} (s)))

$\nabla g(\hat x(s),\hat u(s)))$

g

$g$

(g_{x_{1}}, g_{x_{2}}, \dots, g_{x_{m}}, g_{u_{1}}, g_{u_{2}}, \dots, g_{u_{n}})

$( g_{x_1}, g_{x_2}, \ldots, g_{x_m}, g_{u_1}, g_{u_2}, \ldots, g_{u_n})$ これにより、レベルセットの尤度値が与えられますこれは、プロファイル尤度の計算に使用する正しい近似です。

g

$g$

\frac{L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}}{‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖}

${L(\hat x(s),\hat u(s))|-T|^{1\over2}\over \|\nabla g(\hat x(s),\hat u(s))\|}$

— デイブ・フルニエ
ソース