これはかなり一般的な質問です。
私は通常、複数の異なるモデルを使用すると、サンプルから時系列を予測しようとするときに1つのモデルよりも優れていることを発見しました。モデルの組み合わせが単一のモデルよりも優れていることを示す良い論文はありますか？複数のモデルを組み合わせるのにベストプラクティスはありますか？
いくつかの参照：
回答:
この種のモデルは、アンサンブルと呼ばれることもあります。たとえば、このページでは、仕組みの概要を説明しています。また、そこに記載されている参考文献は非常に便利です。
NetFlix Prizeコンペティションの最終年（2009年）は、複数の学習アルゴリズムの組み合わせに対する一般的なコミュニティ全体の推定を大きく変えたように思えました。
たとえば、私の正式なトレーニング（大学のコース）とその後の現場での監督/メンタリングは、明確な理由がない限り、アルゴリズムの組み合わせを避けることを教えてくれました。そして、「現在のアルゴリズムの解像度を向上させる」本当に正当な理由だと思われます。（他の人は異なる経験を持っているかもしれません-もちろん、私は自分の経験だけに基づいてコミュニティ全体の見解を推測していますが、パフォーマンスの低いMLアルゴリズムのコーディングの経験はかなりあります。）
それでも、アルゴリズムを何らかの方法で組み合わせることが受け入れられ、実際にパフォーマンスが向上した「パターン」がいくつかありました。私にとって最もよくある例は、マシンモードで構成されたMLアルゴリズム（各データポイントにクラスラベルを割り当てる）と、3つ以上のクラス（通常はもっと多く）が存在するMLアルゴリズムを含んでいます。たとえば、教師あり学習アルゴリズムを使用して4つのクラスを解決する場合、クラスIIIとクラスIV を除き、優れた分離が見られます。したがって、これらの6つの決定境界のうち、必要なしきい値より下で解決されたのは1つだけです。特に、クラスIIIとIVが一緒になってデータのわずかな割合を占める場合、これらの2つのクラスの解像度で最適化されたアルゴリズムを追加します。は、この分析問題タイプのかなり一般的な解決策でした。（通常、「ブラインドスポット」はプライマリアルゴリズムの固有の制限でした。たとえば、線形分類器であり、III / IV判定境界は非線形でした。
言い換えると、処理環境（通常はストリーミングデータ）に適した信頼できるアルゴリズムがあり、仕様内で実行され、単一の死角を除いて2つ（またはそれ以上）のクラスを解決できなかった場合データのごく一部の場合、メインアルゴリズムが体系的に欠落しているものをキャッチするために、別の特殊なアルゴリズムを「ボルトオン」することは常に優れていました。
最後に、このトピックに、私は、非常に第17章をお勧めしたいと思い、複数の学習者を組み合わせることで、機械学習入門 Ethem Alpaydin、MITプレス、これがあることを2010年注により、2Dの第二版は数ヶ月前に発表します。初版は2004年に発行されましたが、このトピックについて同じ内容を扱っているとは思いません。（実際にはテキスト全体をお勧めしますが、特にシェーンの質問に関連しているため、この章をお勧めします。）
25ページで、著者はおそらく、学術文献または実践で実用性が実証されているすべてのMLアルゴリズムと組み合わせたスキームを要約します。たとえば、バギング、ブースティング、専門家の混合、積み重ねられた一般化、カスケード、投票、エラー修正などです。 ..
アンサンブルメソッドに関するピーターの応答をフォローアップします。
最も壮観な例はNetflixチャレンジで、ブレンドの人気が非常に高まりました。
これは、あなたの質問の「複数のモデルの組み合わせに関するベストプラクティス」の部分に触れているだけの、ちょっとしたレフトフィールドの答えです。これは基本的にはまさに私の名誉論文です。ただし、カオスとノイズを示す複雑で高度に非線形なモデル、つまり気候モデルを扱っている点が異なります。これは多くの分野に広く適用される可能性はありませんが、エコロジーや計量経済学に役立つかもしれません。
気候モデリングコミュニティでごく最近まで、モデルはほとんど加重なしの平均で一緒に粉砕されました（通常、サンプル期間の一部またはすべてのモデル平均を削除するバイアス補正後）。これは基本的に、IPCCが第4回評価レポート（4AR）および以前のレポートに対して行ったことです。
これは多かれ少なかれ「真実と誤差」のアンサンブルの組み合わせの例であり、観測シリーズ（例えば、全球気温、局所降水量など）が暗黙的または明示的に仮定され、十分なサンプルを取得した場合（たとえば、モデルの実行）、モデルの実行のノイズはキャンセルされます（（1）を参照）。
最近では、パフォーマンスの重み付けに基づいてモデルを結合する方法が使用されています。気候モデルは非常にノイズが多く、変数とパラメーターが非常に多いため、パフォーマンスを評価する唯一の方法（私が知っていること）は、共分散を取るか、モデル出力と観測された時系列の間のMSEを取ることです。その後、その測定値に基づいて平均を重み付けすることにより、モデルを組み合わせることができます。これについては、（2）で概要を説明しています。
シミュレーションを結合するこの方法の背後にある1つの仮定は、モデルがすべて合理的に独立しているという仮定です。この仮定は、4ARに使用されるデータセット（CMIP3、このデータセットは多くのモデリンググループからの少数のモデル実行で構成されていたため、かなり公平でした（一方で、コードはモデリングコミュニティで共有されているため、相互依存性がまだある可能性があります。これに関する興味深い一見については、（3）を参照してください。次の評価レポートのデータセットCMIP5、このやや偶然の属性はありません-一部のモデリングチームは数回の実行を送信し、一部のチームは数百の実行を実行します。異なるチームからのアンサンブルは、初期条件の乱れによって、またはモデルの物理とパラメーター化の変更によって生成される場合があります。また、このスーパーアンサンブルは体系的な方法でサンプリングされていません。データを持ってくるのは誰でも（理由の範囲内で）受け入れられます。これは、この分野では「機会の集合」として知られています。このようなアンサンブルで加重平均を使用すると、より多くの実行でモデルに大きなバイアスがかかる可能性があります（数百の実行があったとしても、真に独立した実行の数ははるかに少ない可能性が高いため）。
私の監督者は、パフォーマンスと独立性の重み付けを含むモデルの組み合わせのプロセスを記述している現在レビュー中の論文を持っている。会議論文の要約があります（4）。公開されたときに論文へのリンクを投稿します（処理が遅く、息を止めないでください）。基本的に、このペーパーでは、モデルエラーの共分散（model-obs）を取得し、他のすべてのモデルとの共分散が高いモデル（つまり、依存性の高いモデル）を重み付けするプロセスを説明します。モデルの誤差分散も計算され、パフォーマンスの重み付けコンポーネントとして使用されます。
また、気候モデリングは、一般的な数値モデリングの気まぐれによって明らかに大きな影響を受けることも注目に値します。「笑いテスト」と呼ばれるものがあります。2050年までに全球平均気温が+ 20°Cになることを意味するモデルを実行することになった場合、それは単に物理的に関連がないため、単に捨てます。明らかに、この種のテストはかなり主観的です。まだ必要ではありませんが、近い将来に期待しています。
それが現在の私の分野における状態モデルの組み合わせの理解です。明らかに私はまだ学んでいるので、何か特別なものを見つけたら、戻ってこの答えを更新します。
（1）Tebaldi、C.＆Knutti、R.、2007。確率的気候予測におけるマルチモデルアンサンブルの使用。王立協会の哲学的取引A：数学、物理学、工学科学、365（1857）、pp.2053-2075。
（2）Knutti、R. et al。、2010。マルチモデル気候予測の評価と結合に関するIPCC専門家会議。
（3）Masson、D.＆Knutti、R.、2011。気候モデル系図。地球物理学。解像度 Lett、38（8）、p.L08703
（4）Abramowitz、G.＆Bishop、C.、2010。アンサンブル予測におけるモデル依存性の定義と重み付け。AGU Fall Meeting Abstractsで。p。07。