2つの決定木の合計は、単一の決定木と同等ですか？

入力を出力マッピングする2つの回帰ツリー（ツリーAとツリーB）があるとします。ましょうツリーA及びため各ツリーは、分離機能として超平面を用いて、バイナリ分割を使用してツリーB.ため。$x \in \mathbb{R}^d$$\hat{y} \in \mathbb{R}$$\hat{y} = f_A(x)$$f_B(x)$

ここで、ツリー出力の重み付き合計を取ると仮定します。

関数は、単一の（より深い）回帰ツリーと同等ですか？$f_C$答えが「時々」である場合、どのような条件下でですか？

理想的には、斜めの超平面（フィーチャの線形結合で実行される分割）を許可したいと思います。しかし、単一機能の分割が利用可能な唯一の答えであれば、それは大丈夫かもしれないと仮定します。

例

以下は、2D入力空間で定義された2つの回帰木です。

この図は、各ツリーが入力領域を分割する方法と、各領域の出力（グレースケールでコーディング）を示しています。色付きの数字は、入力スペースの領域を示します。3、4、5、6はリーフノードに対応します。1は3と4の結合などです。

ここで、ツリーAとBの出力を平均すると仮定します。

平均出力は左側にプロットされ、ツリーAとBの判定境界が重ねられています。この場合、出力が平均（右側にプロット）に等しい単一のより深いツリーを構築できます。各ノードは、ツリーAおよびBによって定義された領域から構築できる入力空間の領域に対応します（各ノードの色付きの数字で示されます。複数の数字は2つの領域の交差を示します）。このツリーは一意ではないことに注意してください。ツリーAではなくツリーBから構築を開始することもできます。

この例は、答えが「はい」である場合が存在することを示しています。これが常に真実かどうか知りたい。

はい、回帰木の重み付き合計は、単一の（より深い）回帰木と同等です。

汎用関数近似器

回帰木は普遍的な関数近似器です（たとえばcstheoryを参照）。汎用関数近似に関するほとんどの研究は、1つの隠れ層を持つ人工ニューラルネットワークで行われます（この素晴らしいブログを読んでください）。ただし、ほとんどの機械学習アルゴリズムは汎用関数近似です。

汎用関数近似器であるということは、任意の関数を近似的に表現できることを意味します。したがって、関数がどれほど複雑になっても、汎用関数近似は任意の精度でそれを表すことができます。回帰ツリーの場合、無限に深いツリーを想像できます。この無限に深いツリーは、空間内の任意のポイントに任意の値を割り当てることができます。

回帰ツリーの加重和は別の任意の関数であるため、その関数を表す別の回帰ツリーが存在します。

そのようなツリーを作成するアルゴリズム

$T_1$$T_2$$T_2$$T1$$T1$$T2$

以下の例は、重み0.5で追加された2つの単純なツリーを示しています。3より小さく、5より大きな数が存在しないため、1つのノードに到達しないことに注意してください。これは、これらのツリーを改善できることを示しますが、無効にはなりません。

より複雑なアルゴリズムを使用する理由

興味深い追加の質問がコメントで@usεr11852によって提起されました：すべての関数を単純な回帰木でモデル化できる場合、ブースティングアルゴリズム（または実際には任意の複雑な機械学習アルゴリズム）を使用するのはなぜですか？

回帰ツリーは確かに任意の関数を表すことができますが、それは機械学習アルゴリズムの1つの基準にすぎません。他の重要な特性の1つは、一般化の程度です。深い回帰木は過剰適合の傾向があります。つまり、それらは一般化されません。これを防ぐために、ランダムフォレストは多数の深いツリーを平均化します。