決定木アルゴリズムは線形または非線形ですか

最近、私の友人に、ディシジョンツリーアルゴリズムが線形アルゴリズムであるか非線形アルゴリズムであるかがインタビューで尋ねられました。この質問への回答を探しましたが、満足のいく説明が見つかりませんでした。誰でもこの質問の解決策に答えて説明できますか？また、非線形機械学習アルゴリズムの他の例は何ですか？

決定木は、非線形写像であるXとy。これは、任意の関数を使用して、最大の深さまでツリーを作成すれば簡単にわかります。

例えば：

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

もちろん、これは完全に過剰適合ツリーであり、一般化されません。しかし、決定木が非線形マッピングである理由を示しています。

最近、私の友人にインタビューで決定木アルゴリズムが線形アルゴリズムか非線形アルゴリズムかを尋ねられました

デシジョンツリーは、ニューラルネットワークなどの非線形分類器です。一般に、非線形に分離可能なデータの分類に使用されます。

回帰の例を考慮する場合でも、決定木は非線形です。

たとえば、線形回帰線は次のようになります。

赤い点はデータポイントです。

そして、決定木回帰プロットは次のようになります。

したがって、決定木は明らかに非線形です

決定木は非線形です。線形回帰とは異なり、独立変数と従属変数の関係を表す方程式はありません。

例：

線形回帰-果物の価格= b0 + b1 *鮮度+ b2 *サイズ

決定木-ノード：熟した-はいまたはいいえ| フレッシュ-はいまたはいいえ| サイズ-<5、> 5が<10および> 10 |

2番目のケースでは、独立変数と従属変数の間に線形関係はありません。

多くの人が指摘しているように、回帰/決定木は非線形モデルです。ただし、これは区分線形モデルであることに注意してください。各近傍（非線形方法で定義）では、線形です。実際、モデルは単なるローカル定数です。

1つの変数と1つのノードを持つ最も単純なケースでこれを見るには、ツリーを線形回帰として書くことができます：$\theta$

ここで、はインジケータ関数で、イベントAが真の場合は値1を、そうでない場合は値0を取ります。$1(A)$

決定木は非線形分類器です。データセットに一貫したサンプルが含まれている場合、つまり、同じ入力フィーチャと矛盾するラベルがない場合、デシジョンツリーはデータを完全に分類し、それをオーバーフィットできます。より明確にするために、決定木の次元はあり、はバイナリフィーチャの数を表します。その結果、仮説空間には、決定木を使用して処理できる異なる可能性が含まれます。重要なポイントの1つは、デシジョンツリーに含めることができるリーフの数です。バイナリ機能を持つサンプルがあるとします。それぞれの量に応じて、可能性の数は$VC$$2^d$$d$$2^{2^d}$$m$$d$$min(2^d, m)$。デシジョンツリーは、線形に分離可能かどうかに関係なく、トレーニングデータセットをオーバーフィットできます。そのため、人々はツリーの剪定ID3またはC4.5ツリーの剪定、またはツリーの高さと長さのしきい値の設定にアプローチを使用します。データ。