回帰木は継続的に予測できますか？

ような滑らかな関数があるとします$f(x, y) = x^2+y^2$。トレーニングセットそしてもちろん、私は知りませんが、どこでもを評価できます。F $D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}$$f$$f$

回帰木は関数の滑らかなモデルを見つけることができますか（したがって、入力の小さな変化は出力の小さな変化のみを与えるはずです）？

講義10：回帰ツリーで読んだことから、回帰ツリーは基本的に関数値をビンに入れるように見えます：

従来の回帰木の場合、各セルのモデルは、Yの一定の推定値です。

彼らが「クラシック」と書いているとき、細胞がより興味深い何かをするバリアントがあると思いますか？

回帰木、特に勾配ブースティング（本質的に多くの木）は、連続予測で非常によく機能する傾向があり、線形回帰のように本当に連続するモデルよりもパフォーマンスが優れていることがよくあります。これは、相互作用が変動する場合や、データセットが十分に大きい（10,000レコードを超える）場合に特に当てはまり、過剰適合の可能性が低くなります。主な目的が単に予測力である場合、モデルが100％連続か疑似連続かは関係ありません。回帰ツリーをより連続的にすると、サンプルの予測力が強化され、ツリーの深さを増やすか、ツリーを追加できます。

従来の回帰ツリーでは、葉に1つの値がありますが、葉には線形回帰モデルを設定できます。このチケットを確認してください。

木の集団（ランダムフォレストまたは勾配ブースティングマシン）を使用して、出力値を連続させることもできます。

質問を少し拡張して、一般的な勾配ブースティング手法を含める場合（ブーストされた回帰ツリーの特別なケースとは対照的）、答えはイエスです。勾配ブースティングは、変数選択の代替として正常に使用されています。良い例はmboostパッケージです。重要なのは、ブースティングに使用される基本学習者のクラスが、最初から連続モデルで構成されていることです。このチュートリアルでは、基本学習者の典型的なクラスを次のように説明します。

一般的に使用される基本学習者モデルは、線形モデル、スムーズモデル、および決定木という3つの異なるカテゴリに分類できます。マルコフ確率場（Dietterich et al。、2004）やウェーブレット（Viola and Jones、2001）など、他にもいくつかのモデルがありますが、それらのアプリケーションは、比較的具体的な実用的なタスクで発生します。

特にウェーブレットについて言及していることに注意してください。ツリーとウェーブレットは、以前はツリーベースのウェーブレットにうまく結合されていました。