勾配ブーストされたツリーはどの関数にも適合しますか?


14

ニューラルネットワークの場合、ニューラルネットワークはR nのコンパクトなサブセット上の任意の連続関数を近似できると述べる普遍近似定理があります。Rn

勾配ブーストされたツリーにも同様の結果がありますか?ブランチを追加し続けることができるので合理的と思われますが、このテーマに関する正式な議論は見つかりません。

編集:私の質問は 回帰木は継続的に予測できますか?、おそらくまったく同じことを求めていない。しかし、関連する議論についてはその質問を参照してください。


1
良い質問!私はその上で何かを見つけることができませんでしたが、ここに ある PACの境界は、決定木の上。cstheoryでもう一度質問てください。
エムレ

1
ここを参照してください:projecteuclid.org/download/pdf_1/euclid.aos/1013203451を。古い読み物です。あなたが探しているものがあると思います。私が理解している限り、原理的には可能です。あなたがそれについてどう思うか教えてください。
ツインペンギン

回答:


1

はい-各データポイントの領域を作成します(つまり、トレーニングデータを記憶します)。

したがって、勾配ブーストされたツリーは任意のトレーニングデータに適合する可能性がありますが、新しいデータへの一般化は制限されます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.