たとえば、AUCを使用してランダムフォレストの品質を評価する場合、Out of Bag Samplesまたはホールドアウトクロス検証セットでこれらの数量を計算する方が適切ですか？

OOBサンプルで計算すると、より悲観的な評価が得られると聞いていますが、その理由はわかりません。

cross-validation random-forest auc

— user695652
ソース

注：私の答えはおそらく正しいと思いますが、この質問を約30〜60分間読んだ後にだけこの問題について考えて、すべてを補ったという事実のために、私も疑問を感じます。したがって、あなたは懐疑的であり、これを精査し、おそらく自信過剰な書き方にだまされないでください（大きな言葉と派手なギリシャのシンボルを使用しても、私が正しいとは限りません）。

概要

これは単なる要約です。すべての詳細は、セクションに記載されている $\S1$ 及び $\S2$ 以下。

分類のケースを想定してみましょう（回帰にも拡張できますが、簡潔にするために省略します）。基本的に、私たちの目標は、樹木の森の誤差を推定することです。out-of-bagエラーとk-fold交差検証の両方は、以下の確率を教えようとします。

フォレストは正しい分類を提供します（k-fold相互検証はこの方法でそれを調べます）。

次の確率と同じです：

森の木の多数決は正しい投票です（OOBEはこのように見ます）。

そして、両方とも同一です。唯一の違いは、k分割交差検証とOOBEが異なるサイズの学習サンプルを想定していることです。例えば：

10倍の交差検定では、学習セットは90％ですが、テストセットは10％です。
ただし、OOBEでは、各バッグにサンプルがあり、サンプルセット全体のサンプルの総数である場合、これは学習セットが実際に約66％（2/3）であり、テストセットが約33％（ 3分の1）。 $n$ $n =$

したがって、私の見解では、OOBEが森林の誤差の悲観的な推定である唯一の理由は、k倍交差検証（通常10倍が一般的）で通常行われるよりも少ないサンプル数で通常訓練されるためです。

そのため、2倍の交差検証はOOBEよりも森林の誤差の悲観的な推定になり、3倍の交差検証はOOBEにほぼ等しく悲観的になると考えています。

1. out-of-bagエラーを理解する

1.1バギングに関する一般的な見解

RFの各ツリーは、学習セットからランダムに抽出されたサンプルのリストによって成長します。この方法では、多数のサンプルが重複する可能性があり、のサンプルの約3分の1 が、特定のツリーの成長に使用されるサンプルのリストに含まれない可能性が高いことがわかります（これらは、この特定のツリーのout-of-bagサンプルです。このプロセスはツリーごとに独立して繰り返されるため、各ツリーにはout-of-bagサンプルの異なるセットがあります。 $n$ $\mathcal{X}$ $n$ $n = |\mathcal{X}|$ $\mathcal{X}$ $n$

1.2。バギングに関する別の見解

それでは、対処がより簡単になるような平等な記述を見つけることを期待して、バギングを少し違った方法で説明しましょう。

私は木のことを示すことによって、これを行うセットで袋詰めしたサンプルによって訓練された。ただし、セットは重複したサンプルがないため（これがセットの動作）、サンプルのリストには重複がある可能性があるため、これは厳密には正しくありません。 $t$ $\mathcal{X}_t \subseteq \mathcal{X}$ $\mathcal{X}_t$ $n$

したがって、我々は、ツリーと言うことができ分析試料によって成長さプラスから引き出されたランダムに選択された複製の数、すなわち、ようにそれ： $t$ $\mathcal{X}_t$ $\mathcal{X}_t$ $\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

| {バツ}_{t} | + \sum_{私 = 1}^{r} | {バツ}_{t 、 私} | = n

$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$

この集合コレクションから、各要素を単に追加するだけで、重複を含む個のサンプルのリストを定義できることは簡単ですセット配列に。このように、いずれかの、の少なくとも一つの値が存在するように $\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$ $n$ $\mathcal{C}_i \in \mathcal{C}$ $a$ $1 \le p \le n$ $i$ $a[p] \in \mathcal{C}_i$ 。

我々はまた、リストことを確認することができアレイ内のサンプル私はいくつかの特定の定義のためにそれを見るために自明である項1に定義されて袋詰めの一般化である Iは、このセクションで定義されていること（）、配列のサンプルのリストは、セクション1で定義されているサンプルのリストとまったく同じです。 $n$ $a$ $\mathcal{X}_t$ $\S2$ $a$

1.3。バギングの簡素化

配列サンプルでツリーを成長させる代わりに、のみで見つかる重複のないインスタンスのリストでそれらを成長させます。 $t$ $a$ $\mathcal{X}_t$

$n$ $t$ $\mathcal{X}_t$ $t'$ $a$

$\mathcal{X}_t$

そして、特定の分割に対してエントロピーが体系的に変化しないと考える理由は、（決定分割を適用した後）サブセットに特定のラベルを持つサンプルの経験的に測定された確率も変化しないためです。

$\mathcal{X}_t$ $d$

1.4アウトオブバッグエラーの測定

$\mathcal{O}_t$ $t$ $\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$ $t$

\frac{合計 バツ に O_{t} 正しく分類 t}{| O_{t} |}

$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$

n_{t}

$n_t$

\frac{\sum_{t = 1}^{n_{t}} 合計 バツ に O_{t} 正しく分類 t}{\sum_{t = 1}^{n_{t}} | O_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$

2. k分割交差検定について

$\mathcal{X}$ $n_k$ $\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$ $\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$ $\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$ $\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

$\mathcal{K}_t$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$

\frac{\sum_{t = 1}^{n_{k}} 合計 バツ に K_{t} 正しく分類 f}{\sum_{t = 1}^{n_{k}} | K_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$

$f$

— 穴居人
ソース

ランダムフォレストの評価：OOB vs CV

概要