ランダムフォレストと極端にランダム化されたツリーの違い

ランダムフォレストと極端にランダム化されたツリーは、ランダムフォレスト内のツリーの分割が決定論的であるという意味で異なりますが、極端にランダム化されたツリーの場合はランダムです（より正確には、次の分割が最適な分割です現在のツリーの選択された変数のランダムな均一な分割の間で）。しかし、私はさまざまな状況でのこの異なる分割の影響を完全には理解していません。

• 彼らはバイアス/分散の観点からどのように比較しますか？
• 無関係な変数が存在する場合、それらはどのように比較されますか？
• 相関変数の存在下でどのように比較しますか？

Extra-（Randomized）-Trees（ET）の記事には、バイアス分散分析が含まれています。16ページでは、6つのテスト（ツリー分類と3つの回帰）のRFを含む複数の方法との比較を見ることができます。

どちらの方法もほぼ同じですが、ノイズの多いフィーチャが多数ある場合（高次元のデータセットで）ETは少し悪くなります。

とはいえ、（おそらく手動の）機能選択がほぼ最適であれば、パフォーマンスはほぼ同じですが、ETの計算はより高速になります。

記事自体から：

アルゴリズムの分析といくつかのテスト問題のバリエーションのKの最適値の決定により、値は原則として問題の詳細、特に無関係な属性の割合に依存することが示されました。[...]バイアス/分散分析は、Extra-Treeが分散を減少させると同時に バイアスを増加させることで機能することを示しています。[...]ランダム化が最適レベルを超えて増加すると、分散はわずかに減少しますが、バイアスは大幅に増加します。

いつものように特効薬はありません。

Pierre Geurts、Damien Ernst、Louis Wehenke。「非常にランダム化されたツリー」

答えは、それが依存するということです。問題については、ランダムフォレストと追加ツリーの両方を試すことをお勧めします。大規模なフォレスト（1000-3000ツリー/推定器、sklearnのn_estimators）を試して、各分割で考慮されるフィーチャの数（sklearnのmax_features）と、分割ごとの最小サンプル（sklearnのmin_samples_split）および最大ツリー深度（ sklearnのmax_depth）。ただし、オーバーチューニングはオーバーフィッティングの一種である可能性があることに留意してください。

以下は、非常にノイズの多いデータで余分なツリーが有用であることが判明した個人的に取り組んだ2つの問題です。

大規模でノイズの多い海底特徴セットの機械学習分類のための決定フォレスト

サンプルを貼り付けた効率的な分散タンパク質障害予測

答えてくれてありがとう！まだ疑問があるので、数値シミュレーションをいくつか実行して、これら2つの方法の動作についてより多くの洞察を得ました。

• 余分なツリーは、ノイズの多い機能がある場合でも高いパフォーマンスを維持するようです。

次の図は、ターゲットに関係のないランダムな列がデータセットに追加されたときのパフォーマンス（クロス検証で評価）を示しています。ターゲットは、最初の3列の単なる線形結合です。

• すべての変数が関連する場合、両方の方法が同じパフォーマンスを達成するようです。

• 余分なツリーは、ランダムフォレストよりも3倍速いようです（少なくとも、scikitでの実装を学習します）

ソース

記事全文へのリンク：ランダムフォレストvsエキストラツリー。