「制限付き最尤法」とは何ですか？いつ使用する必要がありますか？

73

この論文の要旨で次のことを読みました。

「Hartley aud Raoの最尤法（ML）手続きは、尤度を2つの部分に分割するパターソンとトンプソンからの変換を適用することによって修正されます。1つは固定効果がありません。（REML）推定量。」

また、このペーパーの要約でREML を読みました。

「固定効果の推定から生じる自由度の損失を考慮します。」

悲しいことに、私はそれらの論文の全文にアクセスできません（そして、もし私がそうしたら理解できないでしょう）。

また、REMLとMLの利点は何ですか？混合効果モデルをフィッティングする場合、どのような状況下でMLよりもREMLが好まれるか（またはその逆）。数学の背景が高校（またはそれ以上）の人に適した説明をお願いします！

mixed-model maximum-likelihood reml

— ジョー・キング
ソース

stats.stackexchange.com/questions/99895/…を

62

ocramの答えによると、MLは分散成分の推定に対して偏っています。ただし、サンプルサイズが大きくなると、バイアスが小さくなることに注意してください。したがって、あなたの質問への回答では、「... REML対MLの利点は何ですか。混合効果モデルを適合させる場合、どのような状況でREMLがMLよりも好まれますか（またはその逆）？」ただし、REMLの尤度比テストでは、両方のモデルでまったく同じ固定効果の仕様が必要です。そのため、異なる固定効果を持つモデル（一般的なシナリオ）とLRテストを比較するには、MLを使用する必要があります。

REMLは、推定される（固定効果）パラメーターの数を考慮し、それぞれのパラメーターの1自由度を失います。これは、最小二乗残差にMLを適用することで達成されます。これは、固定効果とは無関係です。

— ロバート・ロング
ソース

8

実際、分散成分のREML推定量は通常（ほぼ）不偏ですが、ML推定量は負にバイアスされています。ただし、ML推定器は通常、REML推定器よりも平均二乗誤差（MSE）が低くなります。したがって、平均的に正しい状態にしたい場合は、REMLを使用しますが、推定値のばらつきが大きいため、これに対して支払います。平均して真の値に近づけたい場合は、MLを使用しますが、これにはマイナスのバイアスをかけます。

— ウルフギャング14

3

n

$n$

(n - 1)

$(n-1)$

「MLは分散成分の推定に偏っている」。それは、変量効果の分散または固定効果係数の標準誤差を意味しますか？

— スカン

54

ここに簡単な答えがあります...

標準的な例

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{私 = 1}^{n} （ y_{私} - \bar{y} ）^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E （ {\hat{σ}}_{ML}^{2} ） = \frac{n - 1}{n} σ^{2} 。

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

REML推定は、混合モデルのより複雑なコンテキストでよく使用されます。混合モデルに関するすべての本には、REML推定を詳細に説明するセクションがあります。

編集

@Joeキング：ここでは、オンラインで完全に利用可能である混合モデルで私の好きな本の一つです。セクション2.4.2では、分散成分の推定を扱います。あなたの読書をお楽しみください:-)

— ocram
ソース

ありがとう-これは役に立ちます-私は混合モデルの本に簡単にアクセスできませんが。私の投稿の2つの引用符に答えを教えてください。

— ジョーキング

多変量ガウス分布はどのようにストーリーを変えるのだろうか？stats.stackexchange.com/questions/167494/...

— Sibbsギャンブル

9

MLメソッドは、分散パラメーターを推定するときに固定パラメーターが不確実性なしで既知であると仮定するため、分散パラメーターを過小評価します。

REMLメソッドは、数学的なトリックを使用して、固定効果の推定値から独立した分散パラメーターの推定値を作成します。REMLは、最初にモデルの固定効果部分によってモデル化された観測値の回帰残差を取得することで機能し、この時点で分散成分を無視します。

ML推定値は固定効果に対してバイアスをかけられませんが、ランダム効果に対してバイアスをかけますが、REML推定値は固定効果に対してバイアスをかけ、ランダム効果に対してバイアスをかけません。

— スカン
ソース