ブースティングのout-of-bagエラー推定？

ランダムフォレストでは、各ツリーはデータの一意のブーストラップサンプルで並行して成長します。各ブーストラップサンプルには一意の観測値の約63％が含まれていると予想されるため、観測値の約37％が除外され、ツリーのテストに使用できます。

現在、確率的勾配ブースティングでは、RFと同様の推定値もあるようです。$OOB_{error}$

bag.fractionが0（0.5を推奨）より大きい値に設定されている場合、gbmは予測パフォーマンスの改善のout-of-bag推定を計算します。次の回帰ツリーの選択に使用されていない観測値の逸脱の減少を評価します。

出典：Ridgeway（2007）、セクション3.3（8ページ）。

それがどのように機能するか/有効であるかを理解するのに問題があります。シーケンスにツリーを追加するとします。元のデータセットのランダムなサブサンプルでこのツリーを成長させています。私はそれを育てるために使用されなかった観察でこの単一の木をテストすることができました。同意した。しかし、ブースティングはシーケンシャルなので、これらの省略された観測の予測を提供するために、これまでに構築されたツリーのシーケンス全体を使用しています。そして、先行する木々の多くがこれらの観察をすでに見ている可能性が高いです。したがって、モデルは実際にはRFのような目に見えない観測について各ラウンドでテストされていませんね？

では、なぜこれが「out-of-bag」エラー推定と呼ばれるのでしょうか。私には、観察がすでに見られているので、それはどのバッグからも「出ていない」ように見えますか？

部分的にのみ回答する（そして、質問に新しい質問を追加する）。

R http://www.rdocumentation.org/packages/gbm/functions/gbmのgbm実装には、 out-of-bagnessを調整するための2つのパラメーターがあります。

a）train.fractionすべてのツリーのトレーニングに使用されるデータの割合を定義します。したがって、1- train.fractionは真のOOB（out-of-bag）データになります。

b）bag.fractionブーストの次のツリーの作成に使用されるトレーニングデータの割合を定義します。したがって、ツリーの作成に決して使用されないデータがあり、それらは本当にOOBデータとして使用できます（ただし、可能性は低いですが、以下の質問を参照してください）。

これは私に質問をもたらします。データの37％がOOBであるという分析は、1つのツリーにのみ当てはまります。しかし、どのツリーでも使用されていないデータが存在する可能性ははるかに小さいです（すべてのツリーのOOBになければなりません-私の理解は、各ツリーが独自のブートストラップを行うことです）。したがって、RandomForestsでは、フォレストをテストするOOBになる可能性はほとんどありません。そして、まだR（Breimanのオリジナルコードに基づく）でランダムフォレストの実装は、OOBについて多くを語る（例えば結果データと参照http://www.rdocumentation.org/packages/randomForest/functions/randomForestを） N T R E $0.37^{ntrees}$$ntree$err.rateconfusion

私はそれに答える方法がわかりません（そして質問をして、randomForestsのこの側面を理解していないことに気づかせてくれてありがとう（+1）です）。考えられる解決策は、ブートストラップが1つだけあり、すべてのツリーがそれから構成されることですが、私の知る限り、そうではありません。

私は彼らが各ステップで袋から推定を行うと信じています。すべてのステップの結果が（係数とともに）追加されるため、OOBエラーは同じ係数で追加することもできます。