5人の被験者の100個の測定値が、100人の被験者の5個の測定値よりもはるかに少ない情報を提供することを示す

会議で、私は次の声明を耳にしました。

5人の被験者の100の測定値は、100人の被験者の5つの測定値よりもはるかに少ない情報を提供します。

これが本当であることは明らかですが、数学的にどのように証明できるのか疑問に思っていました...線形混合モデルを使用できると思います。ただし、それらの推定に使用される数学についてはあまり知りません（lmer4LMMおよびGLMMで実行するだけbmrsです）。これが真実である例を教えてください。Rの一部のコードよりも、いくつかの式を使用した回答を希望します。たとえば、正規分布のランダムインターセプトとスロープを持つ線形混合モデルなど、簡単な設定を想定してください。

PS LMMを含まない数学ベースの回答も大丈夫でしょう。LMMは、より多くの被験者からのより少ない測定値が少数の被験者からのより多くの測定値よりも優れている理由を説明するための自然なツールのように思えたため、LMMについて考えました。

— DeltaIV
ソース

+1。私は最も簡単な設定は、平均人口を推定する作業を検討するだろうと思います各被験者は平均、自分の持っていると、このテーマの各測定値は以下のように分布している。人の被験者のそれぞれから測定値を取得する場合、一定の積与えられた場合にとを設定する最適な方法は何。

μ

$\mu$

a \sim N (μ, σ_{a}^{2})

$a \sim \mathcal N(\mu, \sigma_a^2)$

x \sim N (a, σ^{2})

$x \sim \mathcal N(a, \sigma^2)$

n

$n$

m

$m$

n

$n$

m

$m$

n m = N

$nm=N$

— アメーバは、モニカを復活させる

取得データポイントのサンプル平均の分散を最小化するという意味での「最適」。

N

$N$

— アメーバは、モニカを復活させる

はい。しかし、あなたの質問については、分散を推定する方法を気にする必要はありません。あなたの質問（つまり、あなたの質問の引用）は、グローバル平均推定についてのみ信じており、サンプル内のすべてのポイントの最大平均によって最良の推定量が与えられることは明らかです。質問は次のとおりです：、、、および与えられた場合、分散は何ですか？それがわかっていれば、制約が与えられた場合、に関して最小化することができます。

μ

$\mu$

\bar{x}

$\bar x$

N = n m

$N=nm$

μ

$\mu$

σ^{2}

$\sigma^2$

σ_{a}^{2}

$\sigma^2_a$

n

$n$

m

$m$

\bar{x}

$\bar x$

n

$n$

n m = N

$nm=N$

— アメーバは、モニカを復活させる

私はそれをどのように導き出すか分からないが、それは明らかだと思うことに同意する：誤差分散を推定するためには、単一の被験者からすべての測定値を持つことが最善であろう。また、被験者の分散を推定するには、（おそらく？）それぞれ1つの測定値を持つ異なる被験者を用意するのが最善でしょう。しかし、平均についてはそれほど明確ではありませんが、私の直感では、それぞれ1回の測定で人の被験者がいるのがベストだと教えてくれます。それが本当かしら...

N

$N$

N

$N$

N

$N$

— アメーバは回復モニカ言う

サンプルごとの被験者平均の分散はである必要があります。最初の項は被験者の分散で、2番目は各被験者の平均の推定値の分散です。すると、被験者の平均の分散（つまり総平均）はときに最小化されます。

σ_{a}^{2} + σ^{2} / n

$\sigma^2_a + \sigma^2/n$

(σ_{a}^{2} + σ^{2} / n) / m = σ_{a}^{2} / m + σ^{2} / (n m) = σ_{a}^{2} / m + σ^{2} / N = σ_{a}^{2} / m + c o n s t,

$(\sigma^2_a + \sigma^2/n)/m = \sigma^2_a/m + \sigma^2/(nm) = \sigma^2_a/m + \sigma^2/N = \sigma^2_a/m + \mathrm{const},$

m = N

$m=N$

— アメーバは

簡単な答えは、データに正のクラス内相関がある場合にのみ、あなたの推測は真実であるということです。経験的に言えば、ほとんどのクラスター化されたデータセットは、ほとんどの場合、クラス内相関が正であることを示します。つまり、実際には、通常、推測は真実です。ただし、クラス内相関が0の場合、言及した2つのケースは等しく有益です。また、クラス内相関が負の場合、実際にはより多くの被験者でより少ない測定を行うことはあまり有益ではありません。（パラメータ推定値の分散を減らすことに関する限り）単一の被験者ですべての測定を行うことを実際に好むでしょう。

統計的には、これについて考えることができる2つの視点があります。質問で言及した変量効果（または混合）モデル、またはここで少し情報が得られる限界モデルです。

ランダム効果（混合）モデル

被験者のセットから、それぞれ測定値を取得したとします。次に、番目の被験者からの番目の測定の単純な変量効果モデルは、ここで、は固定切片で、はランダムな被験者効果です（分散）、は観測レベルの誤差項（分散）であり、後者の2つのランダムな項は独立しています。 $n$ $m$ $j$ $i$

y_{i j} = β + u_{i} + e_{i j},

$y_{ij} = \beta + u_i + e_{ij},$

β

$\beta$

u_{i}

$u_i$

σ_{u}^{2}

$\sigma^2_u$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

このモデルでは、は母平均を表し、バランスの取れたデータセット（つまり、各被験者からの測定値が同じ数）を使用して、最良の推定値は単純にサンプル平均です。したがって、この推定値の分散が小さいことを意味する「詳細情報」を取得する場合、基本的に、サンプル平均の分散がおよびどのように依存するかを知りたいと思います。少し代数を使えば、 $\beta$ $n$ $m$

\begin{aligned} var (\frac{1}{n m} \sum_{i} \sum_{j} y_{i j}) & = var (\frac{1}{n m} \sum_{i} \sum_{j} β + u_{i} + e_{i j}) \\ = \frac{1}{n^{2} m^{2}} var (\sum_{i} \sum_{j} u_{i} + \sum_{i} \sum_{j} e_{i j}) \\ = \frac{1}{n^{2} m^{2}} (m^{2} \sum_{i} var (u_{i}) + \sum_{i} \sum_{j} var (e_{i j})) \\ = \frac{1}{n^{2} m^{2}} (n m^{2} σ_{u}^{2} + n m σ_{e}^{2}) \\ = \frac{σ_{u}^{2}}{n} + \frac{σ_{e}^{2}}{n m} . \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + u_i + e_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_ju_i + \sum_i\sum_je_{ij}) \\ &= \frac{1}{n^2m^2}\Big(m^2\sum_i\text{var}(u_i) + \sum_i\sum_j\text{var}(e_{ij})\Big) \\ &= \frac{1}{n^2m^2}(nm^2\sigma^2_u + nm\sigma^2_e) \\ &= \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm}. \end{aligned}$ この式を調べると、サブジェクトの分散（つまり）があるときはいつでも、サブジェクトの数（）を増やすとこれらの項の両方が小さくなり、数が増えることが被験者ごとの測定値（

σ_{u}^{2} > 0

$\sigma^2_u>0$

n

$n$

m

$m$ ）は、2番目の用語のみを小さくします。（マルチサイト複製プロジェクトを設計するためのこれの実際的な意味については、少し前に書いたこのブログ投稿を参照してください。）

ここで、観測の総数を一定に保ちながらまたはを増減するとどうなるかを知りたいと思います。そのため、を定数と見なし、分散式全体がように見えるようにしこれは、が可能（最大まで、この場合、各被験者から単一の測定を行うことを意味します）。 $m$ $n$ $nm$

\frac{σ_{u}^{2}}{n} + constant,

$\frac{\sigma^2_u}{n} + \text{constant},$

n

$n$

n = n m

$n=nm$

m = 1

$m=1$

私の短い答えはクラス内相関について言及しましたが、それはどこに当てはまりますか？この単純な変量効果モデルでは、クラス内相関は（ここから派生したスケッチ）です。したがって、上記の分散方程式をこれは実際には何も追加しませんすでに上で見たものへの洞察、しかし、それは私たちに不思議にさせます：クラス内相関は真正の相関係数であり、相関係数は負になる可能性があるので、クラス内の場合に何が起こるか（そしてそれが何を意味するか）相関は負でしたか？

ρ = \frac{σ_{u}^{2}}{σ_{u}^{2} + σ_{e}^{2}}

$\rho = \frac{\sigma^2_u}{\sigma^2_u + \sigma^2_e}$

var (\frac{1}{n m} \sum_{i} \sum_{j} y_{i j}) = \frac{σ_{u}^{2}}{n} + \frac{σ_{e}^{2}}{n m} = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) (σ_{u}^{2} + σ_{e}^{2})

$\text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) = \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm} = \Big(\frac{\rho}{n} + \frac{1-\rho}{nm}\Big)(\sigma^2_u+\sigma^2_e)$

変量効果モデルのコンテキストでは、サブジェクトの分散が何らかの形で負であることを意味するため、クラス内の負の相関は実際には意味がありません（上記の方程式からわかるように、こことここで説明されているように）...しかし、分散は負になることはできません！しかし、これは、負のクラス内相関の概念が意味をなさないという意味ではありません。それは、変量効果モデルがこの概念を表現する方法を持っていないことを意味します。これは、概念ではなくモデルの失敗です。この概念を適切に表現するには、限界モデルを考慮する必要があります。 $\sigma^2_u$ $\rho$

限界モデル

この同じデータセットに対して、、いわゆる限界モデルを考慮することができここでは、基本的にランダムな被験者効果を前からエラー項なので、ます。ランダム効果で、我々は2つのランダムな用語とみなさモデルとすべきIIDが、しかし限界モデルにおいて、我々は代わりに検討追従するブロックを対角共分散行列のような $y_{ij}$

y_{i j} = β + e_{i j}^{*},

$y_{ij} = \beta + e^*_{ij},$

u_{i}

$u_i$

e_{i j}

$e_{ij}$

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$

u_{i}

$u_i$

e_{i j}

$e_{ij}$

e_{i j}^{*}

$e^*_{ij}$

C

$\textbf{C}$

C = σ^{2} [\begin{matrix} R & 0 & \dots & 0 \\ 0 & R & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & R \end{matrix}], R = [\begin{matrix} 1 & ρ & \dots & ρ \\ ρ & 1 & \dots & ρ \\ ⋮ & ⋮ & ⋱ & ⋮ \\ ρ & ρ & \dots & 1 \end{matrix}]

$\textbf{C}= \sigma^2\begin{bmatrix} \textbf{R} & 0& \cdots & 0\\ 0& \textbf{R} & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0& 0& \cdots &\textbf{R}\\ \end{bmatrix}, \textbf{R}= \begin{bmatrix} 1 & \rho & \cdots & \rho \\ \rho & 1 & \cdots & \rho \\ \vdots & \vdots & \ddots & \vdots \\ \rho & \rho & \cdots &1\\ \end{bmatrix}$ 言葉で言えば、これは限界モデルの下で単には、同じ被験者からの2つのの間の予想される相関関係です（被験者間の相関関係は0であると仮定します）。とき

ρ

$\rho$

e^{*}

$e^*$

ρ

$\rho$ が正の場合、同じ被験者から抽出された2つの観測値は、被験者によるクラスタリングを無視してデータセットからランダムに抽出された2つの観測値よりも、平均的に似ている傾向があります。が負の場合、同じ被験者から描画された2つの観測値は、完全にランダムに描画された2つの観測値よりも、平均的に類似度が低い（離れている）傾向があります。（この解釈の詳細については、こちらの質問/回答をご覧ください。）

ρ

$\rho$

したがって、限界モデルの下のサンプル平均の分散の方程式を見ると、これは、上記でランダム効果モデルについて導出したものと同じ分散式で、、これは上記のメモと一致しています

\begin{aligned} var (\frac{1}{n m} \sum_{i} \sum_{j} y_{i j}) & = var (\frac{1}{n m} \sum_{i} \sum_{j} β + e_{i j}^{*}) \\ = \frac{1}{n^{2} m^{2}} var (\sum_{i} \sum_{j} e_{i j}^{*}) \\ = \frac{1}{n^{2} m^{2}} (n (m σ^{2} + (m^{2} - m) ρ σ^{2})) \\ = \frac{σ^{2} (1 + (m - 1) ρ)}{n m} \\ = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) σ^{2}, \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + e^*_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_je^*_{ij}) \\ &= \frac{1}{n^2m^2}\Big(n\big(m\sigma^2 + (m^2-m)\rho\sigma^2\big)\Big) \\ &= \frac{\sigma^2\big(1+(m-1)\rho\big)}{nm} \\ &= \Big(\frac{\rho}{n}+\frac{1-\rho}{nm}\Big)\sigma^2, \end{aligned}$

σ_{e}^{2} + σ_{u}^{2} = σ^{2}

$\sigma^2_e+\sigma^2_u=\sigma^2$

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$ 。この（統計的に同等の）視点の利点は、ここでは、負の主題分散などの奇妙な概念を呼び出す必要なく、負のクラス内相関について考えることができることです。負のクラス内相関は、このフレームワークに自然に適合します。

（ところで、上記の派生の最後から2番目の行は、を持たなければならないことを意味することを指摘するだけです。さもなければ、方程式全体が負ですが、分散負の値にはできません！したがって、クラスター内の測定数に依存するクラス内相関には下限があります（つまり、各被験者を2回測定する）の場合、クラス内相関は至るまで、場合は、のみ下がることができます。 $\rho \ge -1/(m-1)$ $m=2$ $\rho=-1$ $m=3$ $\rho=-1/2$

したがって、最後に、観測合計数を定数と再度考えると、上記の派生の最後から2番目の行はように見えることがわかります。したがって、場合、をできるだけ小さくすると（より多くの被験者の測定値が少なくなります-制限内で、各被験者の1回の測定）、推定値の分散が可能な限り小さくなります。しかし、場合、分散をできるだけ小さくするために、実際にはを可能な限り大きくする必要があります（そのため、限界では、すべての測定を単一の被験者から取得します）。そしていつ $nm$

(1 + (m - 1) ρ) \times positive constant .

$\big(1+(m-1)\rho\big) \times \text{positive constant}.$

ρ > 0

$\rho>0$

m

$m$

ρ < 0

$\rho<0$

m

$m$

n m

$nm$

ρ = 0

$\rho=0$ 、推定値の分散は単なる定数であるため、と割り当ては重要ではありません。

m

$m$

n

$n$

— ジェイク・ウェストフォール
ソース

+1。素晴らしい答え。についての2番目の部分は非常に直感的ではないことを認めなければなりません：膨大な（または無限の）合計数の観測でも、できることはすべての観測を1つの対象に割り当てることです。平均の標準誤差はあり、原則としてそれ以上減らすことはできません。これはとても奇妙です！真のは、それを測定するためにどのようなリソースを投入しても、不明のままです。この解釈は正しいですか？

ρ < 0

$\rho<0$

n m

$nm$

σ_{u}

$\sigma_u$

β

$\beta$

— アメーバは、モニカの復活を

ああ、いや。が無限大に増加すると、は負にとどまることができず、ゼロに近づく必要があります（被験者の分散ゼロに対応）ため、上記は正しくありません。うーんこの負の相関関係はおもしろいことです。サンプルサイズによって制約されるため、実際には生成モデルのパラメーターではありません（通常、生成モデルはパラメーターが何であれ、任意の数の観測値を生成できると予想されます）。私はそれについて考えるための適切な方法が何であるかはよくわかりません。

m

$m$

ρ

$\rho$

— アメーバは、モニカを復活

@DeltaIVこの場合の「変量効果の共分散行列」とは何ですか？上記のJakeによって記述された混合モデルでは、ランダム効果は1つしかないため、実際には「共分散行列」はなく、 1つの数だけ。何を参照していますか？

σ_{u}^{2}

$\sigma^2_u$

Σ

$\Sigma$

— アメーバは、モニカを復活させる

@DeltaIVまあ、一般的な原則はen.wikipedia.org/wiki/Inverse-variance_weightingであり、各被験者の標本平均の分散はによって与えられます（だからジェイクは重みは、被験者間の分散の推定値に依存する必要があります）。被験者内分散の推定値は、プールされた被験者内偏差の分散によって与えられ、被験者間分散の推定値は被験者の平均の分散であり、重みを計算できるものすべてを使用します。（ただし、これがlmerが行うことと100％同等かどうかはわかりません。）

σ_{u}^{2} + σ_{e}^{2} / m_{i}

$\sigma^2_u + \sigma^2_e/m_i$

— アメーバは

ジェイク、はい、このハードコーディングがまさに私を悩ませていました。これが「サンプルサイズ」の場合、基になるシステムのパラメーターにはなりません。私の現在の考え方では、負のは、実際には無視される/未知の別の被験者内因子があることを示すべきだというものです。例えば、何らかの介入の前後にある可能性があり、それらの間の差は非常に大きいため、測定値は負の相関があります。しかし、これはそれを意味します本当にサンプルサイズが、この未知の因子のレベルの数ではなく、それは確かにハードコーディングすることができます...

m

$m$

ρ

$\rho$

m

$m$

— アメーバは回復モニカ言う