アンサンブル分類器を使用しない場合

一般に、目標がサンプル外のクラスメンバーシップを正確に予測することである分類問題では、アンサンブル分類器を使用しないのはいつですか？

この質問は、アンサンブル学習を常に使用しないのはなぜですか？。その質問は、なぜアンサンブルを常に使用しないのかを尋ねています。アンサンブルが同等のアンサンブルよりも悪い（「良くないだけでなく時間の無駄」ではない）ことがわかっている場合があるかどうかを知りたい。

また、「アンサンブル分類器」とは、たとえば、独自にロールアップしたサポートベクターマシンとは対照的に、AdaBoostやランダムフォレストなどの分類器を指します。

真のデータ生成プロセスに最も近いモデルが常に最適であり、ほとんどのアンサンブルメソッドに勝ちます。したがって、データが線形プロセスに由来する場合、lm（）はランダムフォレストよりもはるかに優れています。たとえば、

    set.seed(1234)
p=10
N=1000
#covariates
x = matrix(rnorm(N*p),ncol=p)
#coefficients:
b = round(rnorm(p),2)
y = x %*% b + rnorm(N)
train=sample(N, N/2)
data = cbind.data.frame(y,x)
colnames(data) = c("y", paste0("x",1:p))
#linear model
fit1 = lm(y ~ ., data = data[train,])
summary(fit1)
yPred1 =predict(fit1,data[-train,])
round(mean(abs(yPred1-data[-train,"y"])),2)#0.79

library(randomForest)
fit2 = randomForest(y ~ ., data = data[train,],ntree=1000)
yPred2 =predict(fit2,data[-train,])
round(mean(abs(yPred2-data[-train,"y"])),2)#1.33

モデルを解釈可能かつ説明可能にする必要がある場合は、アンサンブル分類器を使用することはお勧めしません。予測と予測の説明が必要な場合があります。

予測を信じる価値があることを人々に納得させる必要がある場合、非常に正確なモデルは非常に説得力がありますが、方法が複雑すぎて快適なレベルではない場合、予測に基づいて行動するよう人々を説得するのに苦労しました。

私の経験では、ほとんどの人は線形加法モデル、手で採点できるモデルに慣れており、アダプティブブースティング、ハイパープレーン、および5レベルの相互作用効果を説明しようとすると、彼らはまるで黒魔術を投じているかのように反応します。

一方、人々はモデルの複雑さに慣れることができますが、それでもある程度の洞察を内部化したいと考えています。たとえば、科学者は、たとえモデルが非常に正確であっても、ブラックボックスモデルが人間の知識の進歩であるとは考えないかもしれません。

変数重要度分析は洞察に役立ちますが、アンサンブルが線形加法モデルよりも正確である場合、アンサンブルはおそらく、変数重要度分析では完全に説明できないいくつかの非線形効果と相互作用効果を利用しています。

ブランコの答えに追加したいと思います。アンサンブルは非常に競争力があり、非常に良い結果を提供します。たとえば学者では、これが重要です。業界では、アンサンブルを実装/保守/修正/移植するのが難しすぎる場合があります。Goef Hintonの "Dark Knowledge"に関する研究はまさにこれです。大きなアンサンブルの "knowledge"を、モデル内を移動しやすいものに変換する方法です。彼は、テスト時にアンサンブルが悪いと述べています。アンサンブルは非常に冗長であり、計算時間が問題になる可能性があります。

彼のチームは興味深い結果を得ました。彼の出版物または少なくともスライドをチェックすることをお勧めします。私の記憶が良ければ、これは2013年または2014年のホットトピックの1つでした。

ダークナレッジに関するスライドはここにあります：http : //www.ttic.edu/dl/dark14.pdf