モデル平均化アプローチ—係数推定値とモデル予測の平均化？

IT基準を使用して候補セット内のモデルに重み付けするモデル平均化のアプローチに関する基本的な質問があります。

私がモデル平均化で読んだほとんどのソースは、モデルの重みに基づいてパラメーター係数推定値を平均化することを提唱しています（「自然平均」または「ゼロ平均」法を使用しています）。ただし、特にモデルをネストされていない予測子変数と比較する場合、モデルの重みに基づくパラメーター係数推定値ではなく、各モデルの予測の平均化と重み付けがより簡単で正当なアプローチであるという印象を受けました。

モデル平均化へのどのアプローチが最も正当化されるかについての明確なガイダンスはありますか（加重パラメーター推定値と加重予測の平均化）？また、混合モデルの場合、係数推定値のモデル平均化でさらに複雑になりますか？

線形モデルでは、係数全体の平均化により、予測全体の平均化からの予測値と同じ予測値が得られますが、より多くの情報が伝達されます。多くの解説では、線形モデルを扱っているため、係数全体の平均をとっています。

線形代数のビットで同等性を確認できます。あなたが持っていると言う観測と予測因子を。後者は行列集めます。また、モデルがあり、それぞれが予測子に係数推定を割り当てます。これらの係数推定値を行列スタックします。平均化とは、各モデルに重みを割り当てることを意味します（重みは通常、負ではなく、合計が1になります）。これらの重みを長さのベクトルに入れます。N T × N X M β M N N × M β W Mの M W$T$$N$$T\times N$$\mathbf{X}$$M$$\beta_m$$N$$N \times M$$\mathbf{\beta}$$w_m$$m$$\mathbf{w}$$M$

各モデルの予測値は、、またはスタック表記 与えられます。 予測全体の平均からの予測値は、によって与えられ ます。代わりに係数推定では、 計算し、平均化係数からの予測値はによって与えられ Y =Xβ Y、W=（Xβ）WβW=βwのXβW=X（βW$\mathbf{\hat{y}}_m = \mathbf{X}\beta_m$

$$\mathbf{\hat{y}} = \mathbf{X}\mathbf{\beta}$$ $$\mathbf{\hat{y}} \mathbf{w} = (\mathbf{X}\mathbf{\beta})\mathbf{w}$$ $$\mathbf{\beta}_w = \mathbf{\beta}\mathbf{w}$$ $$\mathbf{X\beta}_w = \mathbf{X}(\mathbf{\beta}\mathbf{w})$$ いずれかのアプローチの予測値間の同等性は、行列積の結合性から得られます。予測値は同じであるため、係数の平均を計算するだけでもかまいません。これにより、たとえば個々の予測子の係数を調べたい場合に備えて、より多くの情報が得られます。

非線形モデルでは、通常、同等性は保持されなくなり、代わりに、予測全体で平均化することは実際に意味があります。予測全体（予測の組み合わせ）の平均化に関する膨大な文献は、たとえばここにまとめられています。