勾配ブースティングツリーとランダムフォレストに基づいています。GBDTとRFは、バイアスと分散に取り組むために異なる戦略を使用しています。
私の質問は、複数のGBDTをトレーニングし、それらの予測を最終結果として組み合わせるために、データセットを（置き換えて）リサンプリングできるということです。
GBDTを基本学習者として使用してランダムフォレストを構築するのと同じです
アイデアは、GBDTがデータセットをオーバーフィットする可能性があることです（完全に成長する決定木と同様、低バイアス、高分散）。バギング手法を使用することでこの問題も軽減でき、パフォーマンスを向上させたいと思います。
なにか提案を？
回答:
はい、できます。手法としてのバギングは、単一の分類または回帰ツリーが基本学習者であることに依存しません。多くの基本学習者（たとえば、線形回帰）は他のものより価値が低くなりますが、何でもそれを行うことができます。 ウィキペディアのブートストラップ集計記事には、オゾンデータのLOESS平滑化をバギングする例が含まれています。
ただし、そうする場合は、完全に調整された単一のGBMと同じパラメーターを使用することはほとんどありません。GBMの調整のポイントの大部分は、過剰適合を防ぐことです。バギングは、別のメカニズムによって過剰適合を減らします。したがって、調整されたGBMがあまり過剰適合しない場合、バギングはおそらくあまり役に立たないでしょう。そして、効果的にバッグするには何百ものツリーが必要になる可能性があるため、ランタイムは同様に数百倍。したがって、2つの問題があります-ランダムフォレストに埋め込まれている場合にGBMを調整する方法（ランダムフォレストに埋め込まれている場合、正しく取得することはそれほど重要ではない可能性があります）とランタイムの問題です。
以上のことをすべて書いたところで、バギング型の考え方は、異なる方法ではありますが、GBMと有利に統合できることは事実です。たとえば、H20は、GBMツリーシーケンスの各ツリーをトレーニングデータのランダムサンプルで開発するオプションを提供します。このサンプルは置換なしで行われます。置換を伴うサンプリングは、結果として得られるツリーが、繰り返されたサンプルの部分に適合しすぎると考えられるためです。このアプローチは、ブライマンの「アダプティブバギング」手順によって明確に動機付けられました。詳細については、フリードマンの1999年のストキャスティックグラディエントブースティングペーパーを参照してください。