CARTツリーは予測子間の相互作用をキャプチャしますか？

この論文では、CARTでは各ステップで単一の共変量に対してバイナリ分割が実行されるため、すべての分割は直交し、したがって共変量間の相互作用は考慮されないと主張しています。

ただし、非常に深刻な参考文献の多くは、逆に、ツリーの階層構造が予測子間の相互作用を自動的にモデル化することを保証していると主張しています（たとえば、この論文、そしてもちろんHastie）。

誰が正しいのですか？CARTで生成されたツリーは、入力変数間の相互作用をキャプチャしますか？

CART は、相互作用の影響をキャプチャできます。と間の相互作用効果は、説明変数応答変数に対する効果がのレベルに依存する場合に発生します。これは、次の例で発生します。$X_1$$X_2$$X_1$$Y$$X_2$

経済状況の悪化による影響（これをと呼びます）は、購入する建物の種類（）によって異なります。オフィスビルに投資する場合、経済状況が悪いため、投資の予測値は140,000ドル減少します。しかし、アパートの建物に投資する場合、投資の予測値は20,000ドル減少します。投資の予測値に対する劣悪な経済状況の影響は、購入する不動産の種類によって異なります。これは相互作用効果です。$X_1$$X_2$

簡潔な答え

CARTは、インタラクションのキャプチャに関する支援を必要としています。

長い答え

正確な貪欲アルゴリズムを使用してください（ChenおよびGuestrin、2016年）。

葉の平均値は条件付きの期待値ですが、葉への途中のすべての分割は互いに独立しています。フィーチャーA自体は重要ではないが、フィーチャーBとの相互作用で重要である場合、アルゴリズムはフィーチャーAで分割されません。この分割がないと、アルゴリズムは、相互作用の生成に必要なフィーチャーBでの分割を予測できません。

ツリーは最も単純なシナリオで相互作用を選択できます。2つの特徴およびターゲットを持つデータセットがある場合、アルゴリズムはと以外に分割するものがないため、正しく推定された4つの葉が得られます。$x_1, x_2$$y = XOR(x_1, x_2)$$x_1$$x_2$$XOR$

多くの機能、正則化、および分割数のハード制限により、同じアルゴリズムで相互作用を省略できます。

回避策

新機能としての明示的な相互作用

Zhangの例（ "Winning Data Science Competitions"、2015）：

非貪欲ツリーアルゴリズム

他の質問では、Simone が先読みベースのアルゴリズムと斜めの決定木を提案しています。

別の学習アプローチ

いくつかの学習方法は相互作用をよりよく処理します。

ここからテーブルの統計的学習の要素（ライン「の特徴の組み合わせ線形抽出する能力は」）：