混合モデルの相互検証？

9

私の同僚と私は、Rで一連の線形および非線形混合効果モデルを近似しています。観測された効果が比較的一般化できることを確認できるように、近似モデルで交差検証を実行するように求められます。これは通常は簡単な作業ですが、この場合、データ全体を、共通のレベルを共有しないトレーニング部分とテスト部分（CVの目的）に分割する必要があります。例えば、

トレーニングデータはグループ1、2、3、4に基づく場合があります。次に、適合モデルはグループ5で交差検証されます。

したがって、トレーニングデータで推定されたグループベースのランダム効果はテストデータに適用されないため、これは問題を引き起こします。したがって、モデルをCVすることはできません。

これに対する比較的簡単な解決策はありますか？それとも、この問題に取り組むためのパッケージをまだ誰かが書いていますか？ヒントは大歓迎です！

ありがとう！

mixed-model cross-validation

— ティン・キアン
ソース

2

小領域推定では、「サンプル外」の小領域と同じ問題があります。通常行われるのは、サンプル外のランダム効果をゼロで推定することです（最も可能性の高い値-ランダム効果が正規分布であると想定）。効果的には、モデルの「合成」または固定部分を予測のみに使用しています。

— probabilityislogic

確率論的/ティン・チェン、私は今この問題に取り組んでおり、サンプル外効果を0として指定した方法を確認したいと思います。ここで回答を編集してRコードを表示することはできますか？ありがとう！

— Pradeep Babu

3

Fang（2011）は、混合モデルに適用されたAICとleave-one-cluster-outクロス検証の間の漸近的等価性を実証しました。おそらくこれはあなたのレビュアーを満足させ、彼らが要求したもののより計算しやすい近似として単純にAICを計算することを可能にするでしょうか？

— マイク・ローレンス
ソース

ありがとう！これは便利に見えます。実際には既にBICを計算していますが、レビュー担当者は相互検証の結果を確認したいと考えています。;-)私たちが持っているデータセットのいくつかは比較的小さいです。したがって、そのような漸近的な振る舞いは期待されないという議論をすることができます。しかし、はい、AICとBICは漸近的に同等であるため、BICの結果を提示するときにFang（2011）を引用することはできますか？

— Ting Qian

2

AICとBICは根本的に異なる質問に答えようとするため、漸近的に同等であるとは思いません。参照：stats.stackexchange.com/questions/577/...

— マイク・ローレンス

：そして、ここでAIC＆BICのより詳細な比較だsmr.sagepub.com/cgi/doi/10.1177/0049124103262065

— マイク・ローレンス

0

Colby and Bair（2013）は、非線形混合効果モデルに適用できる交差検証アプローチを開発しました。詳細については、このリンクにアクセスしてください。

— Api Hounzandji
ソース

1

Crossvalidatedへようこそ。回答に情報を追加してください。多分あなたは記事の最も重要な部分を概説できます。

— Ferdi、2016