ランダムフォレストがランダムフォレストを生成する方法


20

私はランダムフォレストの専門家ではありませんが、ランダムフォレストの重要な問題は(ランダム)ツリーの生成であることを明確に理解しています。木がどのように生成されるのか説明してもらえますか?(つまり、ツリー生成に使用される分布は何ですか?)

前もって感謝します !

回答:


16

RFの実装はわずかに異なります。Salford Systems 独自の実装は、R のバニラ実装よりも優れているはずです。アルゴリズムの説明は、Friedman-Hastie-Tibshirani、第2版、第3版のESLにあります。章全体(15日)はRFに当てられており、実際には元の論文よりも明確であることがわかりました。ツリー構築アルゴリズムの詳細については、p.588をご覧ください。この本はオンラインで入手できるため、ここで複製する必要はありません。


答えてくれてありがとう!私はこの本を最初から最後まで読んだことがありますが、それは第1版だと思います...オンラインで入手できるとは知りませんでした。
ロビンジラール

19

主なアイデアは、バギング手順であり、ツリーをランダムにしません。詳細には、各ツリーは、元のセットから置換されて描画されたオブジェクトのサンプルに基づいて構築されます。したがって、各ツリーには見られないオブジェクトがいくつかあります。これが、全体のアンサンブルをより不均一にし、一般化をより良くするものです。

さらに、各分割でM(またはmtry)のランダムに選択された属性のみが考慮されるように、ツリーが弱体化されています。Mは通常、セット内の属性の数の平方根です。これにより、剪定されていないため、ツリーのオーバーフィットが少なくなります。詳細を見つけることができますこちらをください

一方、木はランダムな方法で作られているエクストリームランダムフォレストと呼ばれるRFの変種は、(分割のない最適化が存在しない)がある-相談、私は考えてこの参照を


申し訳ありませんが、私はあなたの答えを本当に理解していません。「詳細には、各ツリーは、元のセットから置換されて描画されたオブジェクトのサンプルに基づいて構築されます」とはどういう意味ですか。
ロビンジラール

1
これがバギングの仕組みです。en.wikipedia.org/wiki/Bootstrap_aggregatingをご覧ください。詳細なRFリファレンスへのリンク(私が認めるテーマではほとんど見えません)です。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.