コンピューターベースの実験/シミュレーションにおける残差の独立性？

古科学で使用されている特定のタイプのモデルに適合するさまざまな方法のコンピューターベースの評価を実施しました。大規模なトレーニングセットがあるため、テストセットをランダムに（階層化されたランダムサンプリングで）設定しました。トレーニングセットサンプルに異なる方法を適合させ、結果モデルを使用して、テストセットサンプルの応答を予測し、テストセット内のサンプルのRMSEPを計算しました。これは単一の実行です。$m$$m$

その後、新しいテストセットをランダムにサンプリングして異なるトレーニングセットを選択するたびに、このプロセスを何度も繰り返しました。

これを行った後、メソッドのいずれかがRMSEPのパフォーマンスを改善するか、悪化させるかを調査したいと思います。また、ペアワイズ法の複数の比較を行いたいです。$m$

私のアプローチは、線形混合効果（LME）モデルをRunの単一のランダム効果に適合させることでした。私は使用lmer()からlme4のからの私のモデルや機能に合わせてパッケージmultcompの多重比較を行うためのパッケージ。私のモデルは本質的に

lmer(RMSEP ~ method + (1 | Run), data = FOO)

ここmethodで、テストセットのモデル予測を生成するために使用されたメソッドを示す要因であり、「実験」のRun特定の実行ごとのインジケータです。

私の質問は、LMEの残差に関するものです。実行の単一のランダム効果を考えると、ランダム効果がもたらす誘導相関に基づいて、その実行のRMSEP値はある程度相関しているが、実行間で無相関であると想定しています。

この実行間の独立性の仮定は有効ですか？そうでない場合は、LMEモデルでこれを説明する方法がありますか、または質問に答えるために別のタイプの静的分析を採用する必要がありますか？

ここでは、各mメソッドについて本質的に何らかの形式の相互検証を行っているので、どのメソッドがよりよく実行されるかを確認したいと思います。実行間の結果は、同じデータに基づいており、トレイン/テストセット間で重複があるため、間違いなく依存します。問題は、メソッドを比較するときにこれが重要かどうかです。

実行を1回だけ実行し、1つの方法が他の方法よりも優れていることに気付いたとします。その後、あなたは自分自身に尋ねるでしょう-これは単にテストセットの特定の選択によるものですか？これが、多くの異なるトレイン/テストセットに対してテストを繰り返す理由です。そのため、あるメソッドが他のメソッドよりも優れていることを判断するために、何度も実行し、実行ごとに他のメソッドと比較します（エラー/ランクなどを見るオプションは異なります）。現在、ほとんどの実行でメソッドのパフォーマンスが向上していることがわかった場合、結果はそのとおりです。これにp値を与えることが役立つかどうかはわかりません。または、p値を与えたい場合は、ここで背景モデルは何ですか？

あなたがしたことを本当に理解していないかもしれませんが、

実行の場合、その実行のRMSEP値はある程度相関していると仮定しています

はい、それはテストセットがその実行でどれほど難しかったかを反映しています

しかし、実行間で無相関です

いいえ、テストセットのサンプリング方法を考えると、一部は他のテストセットよりも重複します（ほとんどの場合、独立した複製ではありません）

オーバーラップに基づいて依存関係をモデル化するか、実行が独立するように評価を設計する必要があります。クロスバリデーションに関する統計資料を読みます;-)