ランダムフォレストの後継に値するバギングアルゴリズムはどれですか?


14

アルゴリズムをブーストするために、それらはかなり進化したと言えます。1995年の初めにAdaBoostが導入され、しばらくしてからGradient Boosting Machine(GBM)が導入されました。最近、2015年頃にXGBoostが導入されました。これは正確で、オーバーフィットを処理し、複数のKaggleコンテストの勝者になりました。2017年にMicrosoftによって導入されたLightGBMは、XGBoostと比較して大幅に短いトレーニング時間を提供します。また、カテゴリ機能を処理するために、YandexによってCatBoostが導入されました。

ランダムフォレストは2000年代初頭に導入されましたが、それにふさわしい後継者はいましたか?ランダムフォレストよりも優れたバギングアルゴリズムが存在すれば(実際に簡単に適用できます)、Kaggleのような場所で注目を集めたと思います。また、ブースティングがより一般的なアンサンブルテクニックになった理由は、最適な予測のために構築するツリーを少なくできるからですか?


1
adaBoostは1995年に実際に導入されましたが、それはあなたの基本的な理論を変えない小さな点です。
jbowman

3
ランダム森林以来、我々はまたの導入に見てきた非常にランダム化された木を、私は、彼らが...「立派な」後継者ではないかもしれないので、これらは、任意の一貫性とランダム森林をアウトパフォームすることを何か良い証拠の本当に認識していないんだけれども、
ジェイクウェストフォール

1
BART(arxiv.org/abs/0806.3286)は、単一ツリーのベイジアンCARTから進化したベイジアンモデルであり、古典的なアンサンブル法に触発されています。探索する価値があります。

それは弱学習手法で成功し、多くの問題を処理しますので、より多くの人気となったブースティング
Refaelを

正規化された貪欲な森林は、言及する価値があり(遅いが、いくつかの良い結果)、クールな副作用のためにランダムな森林を分位します。
マイケルM

回答:


3

xgboost、catboost、およびlightgbmはランダムフォレストのいくつかの機能(変数/観測のランダムサンプリング)を使用しているため、これらはともにブースティングとRFの後継であり、両方から最高のものを取得していると思います。;)

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.