ランダムフォレストのOOBエラーが不偏であることをどのように正式に証明するのでしょうか。

私は何度もこの声明を読みましたが、証明に出くわしたことはありません。自分で作ってみたいのですが、どの表記を使うのかよくわかりません。誰かがこれを手伝ってくれる？

これが最終的な答えかどうかはわかりませんが、それらはコメントに適合しません。

OOBエラーは公平であるという説明がよく使われますが、デモを見たことはありません。多くの検索を行った後、RF セクションのブライマンのよく知られたページをよく読んだ後、ようやく私は袋から出された（oob）エラー推定値を示しました。あなたが気づかなかった場合（私がしばらくの間見逃したように）、最後の命題は重要なものです：これは多くのテストで公平であることが証明されています。したがって、正式な派生の兆候はありません。

それ以上に、インスタンスよりも変数が多い場合、この推定量が偏っていることが証明されているようです。こちらをご覧ください。

インザバッグエラーの場合、正式な派生があります。In-the-bagエラーはブートストラップエラーであり、「EsronとTibshiraniによるブートストラップの紹介」から始まる多くの文献があります。しかし、私が見た最もクリーンなデモンストレーションはここにあります。

証拠を見つけたい場合は、この推定値とN分割交差検証を比較することから始めるとよいでしょう。ESTLサンプルの数が無限大に向かうにつれて限界で同一性が、存在することが記載されています。

OOBエラーが公平であると予想されるのはなぜですか？

• 「元の」フォレストと比較して、代理フォレストで使用される木では（少なくとも）1つのトレーニングケースが利用できません。これにより、リーブワンアウトの相互検証にほぼ匹敵する小さな悲観的なバイアスが生じると思います。

• 省略されたケースで実際に評価される代理フォレスト内の「元の」フォレストの木の数は、おおよそです。したがって、予測の分散が大きくなると予想されます。これにより、さらに悲観的なバイアスが発生します。$\frac{1}{e} \approx \frac{1}{3}$

どちらの考えも、問題の分類子とアプリケーション/データの学習曲線に密接に関連しています。1つ目はトレーニングサンプルサイズの関数としての平均パフォーマンス、2つ目はこの平均曲線の周りの分散です。

全般的に見て、oobがを含むランダムフォレストのパフォーマンスの公平な推定値であることを正式に示すことができると思います「元の」森の木の数、および元のトレーニングデータのケースでトレーニングされている。$\frac{1}{e} \approx \frac{1}{3}$$n - 1$

また、Breimanは、相互検証に使用するのと同じ方法で、ブートストラップ外に「バイアスなし」を使用していることに注意してください。ここで、（小さな）悲観的バイアスもあります。実験的なフィールドから来て、バイアスは通常分散よりもはるかに問題が少ないので、どちらも実質的に不偏であると言っても問題ありません（多くのケースがあるという贅沢がある場合は、おそらくランダムフォレストを使用していません）。 。