ランダムフォレストはオーバーフィットできませんか？

フィットする場合、オーバーフィットする可能性があります。RFの観点から、フォレストに十分な木が含まれていない場合にどうなるかを考えます（効果を明確にするために、フォレストが単一のツリーであるとしましょう）。これよりも多くの問題がありますが、これが最も明白です。

予測子の数が多い場合は簡単にオーバーフィットする可能性があるというRFの別のスレッドに応答しました。

ランダムフォレストは、主に分散を減らしますが、どのようにオーバーフィットできますか？@Donbeoの原因はおそらく、デシジョンツリーモデルが外挿でうまく機能しないためです。たとえば、異常な予測子変数の場合、DTは悪い予測を与える可能性があるとしましょう。

過剰適合の明確な兆候の1つは、残差の分散が大幅に減少していることです。 では、最初の発言で何を暗示しようとしているのですか？

バイアスと分散のトレードオフでは、バイアスを減らそうとすると、分散を補正します。そのため、x = 80の場合、y = 100になりますが、x = 81の場合、y = -100になります。これは過剰適合でしょう。分散が高い場合と似ていません。@whuber ovefittingは分散が大きいためだと思いました。残差の分散を減らすとオーバーフィットがどのように発生するのかわかりません。私が読んでもらうためにいくつかの紙を共有していただけませんか。

これは紙を必要としません！自分で試すことができます。以下のような小さなシンプルな二変量データセット、乗りし、任意の対応のコレクションあなたが生成するために気に。最小二乗法（これは残差の分散を減らすことを目的としているため）を使用して、一連のモデル for。各ステップは、最後のステップで分散がゼロになるまで分散を減らします。ある時点で、ほとんど誰もが同意するでしょう。モデルはデータを過剰適合し始めています。$x_i=1,2,\ldots,10$$y_i$$y=\beta_0+\beta_1 x+\beta_2 x^2 + \cdots + \beta_k x^k$$k=0, 1, \ldots, 9$

@whuber「分散の減少」とは何かについて、あなたはポイントを逃していると思います。ランダムフォレスト（および一般的にバギング）では、残差の分散は減少しませんが、予測の分散は減少します。したがって、あなたの例では、あなたが話する各ステップは、分散を増加させます:)