アンサンブル学習を常に使用しないのはなぜですか？

アンサンブル学習は、単一の学習仮説よりも常に優れた予測パフォーマンスを提供するように思えます。

それでは、なぜそれらを常に使用しないのでしょうか？

私の推測は、おそらく、計算上の制限によるものですか？（それでも、弱い予測子を使用するため、わかりません）。

一般的に、常にパフォーマンスが向上するというのは正しくありません。いくつかのアンサンブルメソッドがあり、それぞれ独自の利点/弱点があります。どちらを使用するかは、手元の問題によって異なります。

たとえば、モデルの分散が大きい場合（データに過剰適合している場合）、バギングを使用することでメリットが得られる可能性があります。モデルに偏りがある場合は、それらをBoostingと組み合わせて使用​​することをお勧めします。アンサンブルを形成するためのさまざまな戦略もあります。トピックの幅が広すぎて、1つの答えでカバーできません。

しかし、私のポイントは、設定に間違ったアンサンブル方法を使用する場合、あなたはより良くするつもりはありません。たとえば、バイアス付きモデルでバギングを使用しても効果はありません。

また、確率的な設定で作業する必要がある場合、アンサンブルメソッドも機能しない可能性があります。Boostingは（AdaBoostのような最も一般的な形式で）不十分な確率推定を提供することが知られています。つまり、分類だけでなく、データについて推論できるモデルが必要な場合は、グラフィカルモデルを使用した方がよい場合があります。