アンサンブル学習：モデルスタッキングが効果的なのはなぜですか？

最近、私はアンサンブル学習の一種としてモデルスタッキングに興味を持ちました。特に、回帰問題のおもちゃのデータセットを少し試してみました。基本的に、個々の「レベル0」リグレッサを実装し、各リグレッサの出力予測を「メタリグレッサ」が入力として受け取る新しい機能として保存し、このメタリグレッサをこれらの新しい機能（レベルからの予測）に適合させました。 0リグレッサ）。バリデーションセットに対してメタリグレッサーをテストしたところ、個々のリグレッサーに対してささやかな改善でさえあることに私は非常に驚きました。

それで、ここに私の質問があります：なぜモデルスタッキングは効果的ですか？直感的には、スタッキングを行うモデルは、レベル0の各モデルと比較して機能表現が貧弱であるように見えるため、パフォーマンスが低いことが予想されます。つまり、20の特徴を持つデータセットで3つのレベル0のリグレッサをトレーニングし、これらのレベル0のリグレッサの予測をメタリグレッサへの入力として使用する場合、これは、メタリグレッサに3つの特徴しか学習できないことを意味します。メタリグレッサがトレーニングに使用する3つの出力フィーチャよりも、レベル0リグレッサがトレーニングに持つ20の元のフィーチャにエンコードされた情報が多いようです。

アンセンブルは、基本的には中心極限定理の悪用と考えてください。

中心極限定理は、サンプルサイズが大きくなるにつれて、サンプルの平均が母集団平均の実際の場所のますます正確な推定になることをおおざっぱに言います（これは、あなたが見ている統計であると想定しています）。 。

モデルが1つあり、従属変数に対して1つの予測が生成される場合、その予測はある程度高いか低い可能性があります。ただし、異なる予測を生成する3つ、5つ、または10つの異なるモデルがある場合、特定の観測に対して、一部のモデルからの高い予測は他のいくつかのモデルからの低い誤差を相殺する傾向があり、正味の影響は平均の収束になります「または真実」への予測の（または他の組み合わせ）。すべての観察についてではありませんが、一般的にはそれが傾向です。したがって、一般的に、アンサンブルは最良の単一モデルよりも優れています。