勾配ブースティングマシンがランダムフォレストより優れているのはどの条件ですか？

フリードマンの勾配ブースティングマシンは、ブライマンのランダムフォレストよりも優れたパフォーマンスを達成できますか？もしそうなら、どの条件またはどの種類のデータセットがgbmを改善できますか？

以下は、実際にブースティングが一般にランダムフォレストを上回る理由について説明していますが、特定の設定でRFに対するブースティングの優位性を説明できる他のさまざまな要因を知りたいと思います。

基本的に、フレームワーク内で、RFは分散を減らすことによってのみエラーを減らすことができます（Hastie et al。2009 p。588）。バイアスは固定されており、フォレスト内の単一ツリーのバイアスに等しくなります（したがって、バイアスが非常に小さい非常に大きなツリーを成長させる必要があります）。$error=bias+variance$

一方、ブースティングはバイアスを減らします（シーケンスに新しいツリーを追加して、前のツリーで見逃したものをキャプチャします）が、分散も（多くのモデルを組み合わせて）減らします。

したがって、ブースティングは両方のフロントのエラーを削減しますが、RFは分散を減らすことによってのみエラーを削減できます。もちろん、私が言ったように、実際にブーストのパフォーマンスが向上していることについて他の説明があるかもしれません。たとえば、前述の本の591ページでは、特定の場合に真の決定境界が加法的であるため、ブースティングはネストされた球の問題でRFよりも優れていると言われています。（？）彼らはまた、ブースティングがスパムとカリフォルニアの住宅データのRFよりも優れていることを報告しています。

BoostingがRFを上回ることがわかった別の参考文献は、Caruana and Niculescu-Mizil 2006です。残念ながら、彼らは結果を報告しますが、それらの原因を説明しようとはしません。彼らは、8つの異なるパフォーマンスメトリックの11のバイナリ分類問題で2つの分類子（およびそれ以上）を比較しました。

bayerjが言ったように、アプリオリを知る方法はありません！

ランダムフォレストの調整は比較的簡単です。ほとんどの実装（RやPythonなど）の既定のパラメーターは、素晴らしい結果を達成します。

一方、GBMはチューニングが難しく（ツリーの数が多すぎるとオーバーフィットになり、最大深度が重要になり、学習率とツリーの数が一緒に作用します...）、トレーニングに時間がかかります（マルチスレッドの実装はほとんどありません） 。チューニングを粗く実行すると、パフォーマンスが低下する場合があります。

ただし、私の経験から、GBMに十分な時間を費やすと、ランダムフォレストよりもパフォーマンスが向上する可能性があります。

$m$