決定木と回帰-予測値がトレーニングデータの範囲外になることはありますか？

意思決定ツリーに関しては、予測値はトレーニングデータの範囲外にありますか？

たとえば、ターゲット変数のトレーニングデータセットの範囲が0〜100の場合、モデルを生成して別のモデルに適用すると、値を-5にできますか？または150？

意思決定ツリーの回帰についての私の理解は、それが依然としてルールベース-左/右の進行であり、トレーニングセットのツリーの下部では特定の範囲外の値を見ることができないため、それを予測しますか？

あなたは完全に正しい：古典的な決定木は歴史的に観察された範囲外の値を予測することはできません。彼らは外挿しません。

同じことがランダムフォレストにも当てはまります。

理論的には、ツリーの葉が単一の値を与えず、単純な回帰（特定の数値の独立変数に依存する変数を回帰するなど）を含む、いくぶん複雑なアーキテクチャ（植物？）の議論が時々見られます。ツリー内を移動すると、どのような場合にDVを後退させる数値IVに関するルールセットが表示されます。このような場合、この「ボトムレベル」の回帰を推定して、まだ観測されていない値を得ることができます。

ただし、標準の機械学習ライブラリがこれよりやや複雑な構造を提供するとは思いません（最近、RのCRANタスクビューでこれを探しました）本当に複雑なものはないはずです。葉に回帰を含む独自のツリーを実装できる場合があります。

また、キャレットパッケージのキュビストも確認してください。ターミナルノードで線形回帰を構築し、トレーニングデータの応答値の範囲の上下に予測を外挿できます。末端パラメーターは、ハイパーパラメーターとして提供される最近傍に基づいて平均化することもできるため、非常に正確な相互検証された予測を提供できる可能性があります。