平均して、各ブートストラップサンプルに約3分の2の観測が含まれているのはなぜですか？

42

私は、各ブートストラップサンプル（またはバギングされたツリー）に平均約の観測値が含まれるという主張に出くわしました。 $2/3$

置換されたサンプルからの描画のいずれでも選択されない可能性はであり、選択されない可能性は約になると理解しています。 $n$ $n$ $(1- 1/n)^n$ $1/3$

この式が常にを与える理由の数学的な説明は何ですか？ $\approx 1/3$

bootstrap

— xyzzy
ソース

10

これがブートストラップ632+ルールのの起源だと思います。

.632

$.632$

— GUNG -復活モニカ

29

基本的に、問題は（そしてもちろん、少なくとも大体）。 $\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$
$e^{-1} =1/e \approx 1/3$

非常に小さいでは機能しません。 $n$ たとえば、 $n=2$ 、 $(1- 1/n)^n=\frac{1}{4}$ です。それは通過 $\frac{1}{3}$ で $n=6$ 、通過 $0.35$ で $n=11$ 、および $0.366$ することによって $n=99$ 。を超えると $n=11$ 、 $\frac{1}{e}$ はよりも優れた近似になり $\frac{1}{3}$ ます。

ここに画像の説明を入力してください

灰色の破線は $\frac{1}{3}$ ます。赤と灰色の線は $\frac{1}{e}$ ます。

（簡単に見つけることができる）正式な派生を示すのではなく、（少し）より一般的な結果が成り立つ理由の概要（直観的で、波打った引数）を示します。

e^{x} = lim_{n \to \infty} {(1 + x / n)}^{n}

$e^x = \lim_{n\to \infty} \left(1 + x/n \right)^n$

（多くの人はこれを定義とますが、をとして定義するなどの簡単な結果から証明できます。） $\exp(x)$ $e$ $\lim_{n\to \infty} \left(1 + 1/n \right)^n$

事実1：これは、べき乗とべき乗に関する基本的な結果から得られます $\exp(x/n)^n=\exp(x)\quad$

事実2：が大きい場合、これは級数展開から得られます。 $n$ $\exp(x/n) \approx 1+x/n\quad$ $e^x$

（私はこれらのそれぞれについてより完全な議論をすることができますが、私はあなたがすでにそれらを知っていると仮定します）

（1）の（2）を置き換えます。できた（これをより正式な議論として機能させるには、Fact 2の残りの項が乗したときに問題を引き起こすほど大きくならないことを示す必要があるため、多少の作業が必要になります。しかし、これは直観です。正式な証拠ではありません。） $n$

[または、のテイラー級数を1次にするだけです。2番目の簡単なアプローチは、の二項展開を取得し、用語ごとに制限を取得することです。これにより、系列の項が表示されます。。] $\exp(x/n)$ $\left(1 + x/n \right) ^n$ $\exp(x/n)$

したがって、、置き換えます。 $e^x = \lim_{n\to \infty} \left(1 + x/n \right) ^n$ $x=-1$

すぐに、この回答の先頭に結果が表示されます。 $\lim_{n\to\infty}(1- 1/n)^n=e^{-1}$

gungがコメントで指摘しているように、あなたの質問の結果は632ブートストラップルールの起源です

例

Efron、B. and R. Tibshirani（1997）、
"Improvements on Cross-Validation：The .632+ Bootstrap Method、"
Journal of the American Statistical Association Vol。92、438.（Jun）、pp。548-560

— グレン_b
ソース

41

より正確には、各ブートストラップサンプル（またはバギングツリー）には、サンプルのが含まれます。 $1-\frac{1}{e} \approx 0.632$

ブートストラップの仕組みを見ていきましょう。私たちは、元のサンプル持ってして、その中のアイテム。サイズ別のセットが得られるまで、この元のセットから置換されたアイテムを描画します。 $x_1, x_2, \ldots x_n$ $n$ $n$

それから、最初のドローで1つのアイテム（たとえば）を選択する確率はます。したがって、そのアイテムを選択しない確率はです。これは最初の引き分けです。合計ドローがあり、それらはすべて独立しているため、ドローのいずれかでこのアイテムを選択しない確率はです。 $x_1$ $\frac{1}{n}$ $1 - \frac{1}{n}$ $n$ $(1-\frac{1}{n})^n$

次に、が大きくなるとどうなるかを考えてみましょう。通常の微積分トリック（またはWolfram Alpha）を使用して、が無限大に向かうにつれて制限をとることができます： $n$ $n$

lim_{n \to \infty} (1 - \frac{1}{n})^{n} = \frac{1}{e} \approx 0.368

$\lim_{n \rightarrow \infty} \big(1-\frac{1}{n}\big)^n = \frac{1}{e} \approx 0.368$

これは、アイテムが選択されない確率です。1からそれを減算して、選択されているアイテムの確率を見つけます。これにより、0.632が得られます。

— マット・クラウス
ソース

5

置換によるサンプリングは、「成功」が選択されているインスタンスである二項試行のシーケンスとしてモデル化できます。インスタンスの元のデータセットの場合、「成功」の確率はであり、「失敗」の確率はです。サンプルサイズがの場合、インスタンスを正確に回選択する確率は、二項分布で与えられます。 $n$ $1/n$ $(n-1)/n$ $b$ $x$

P (x, b, n) = (\frac{1}{n})^{x} (\frac{n - 1}{n})^{b - x} (\binom{b}{x})

$P(x,b,n) = \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{b-x} {b \choose x}$

ブートストラップサンプルの特定の場合、サンプルサイズはインスタンスと等しくなります。まかせアプローチの無限大を、我々が得ます： $b$ $n$ $n$

lim_{n \to \infty} (\frac{1}{n})^{x} (\frac{n - 1}{n})^{n - x} (\binom{n}{x}) = \frac{1}{e x!}

$\lim_{n \rightarrow \infty} \bigl(\frac{1}{n}\bigr)^{x} \bigl(\frac{n-1}{n}\bigr)^{n-x} {n \choose x} = \frac{1}{ex!}$

元のデータセットが大きい場合、この式を使用して、ブートストラップサンプルでインスタンスが正確に回選択される確率を計算できます。以下のために、確率は、またはおおよそ。したがって、インスタンスが少なくとも1回サンプリングされる確率はです。 $x$ $x = 0$ $1/e$ $0.368$ $1 - 0.368 = 0.632$

言うまでもなく、私はこれをペンと紙を使って苦労して導き出し、Wolfram Alphaを使用することさえ考えませんでした。

— レツレグ
ソース

3

@retsregの答えに追加するだけで、これはRの数値シミュレーションを介して非常に簡単に実証できます。

N <- 1e7 # number of instances and sample size
bootstrap <- sample(c(1:N), N, replace = TRUE)
round((length(unique(bootstrap))) / N, 3)
## [1] 0.632

— vonjd
ソース

1

これは、カウントすることで簡単に確認できます。合計可能サンプル数は？n ^ n。特定の値を含まないものはいくつですか？（n-1）^ n。特定の値を持たないサンプルの確率-（1-1 / n）^ n。これは限界の約1/3です。

— マキシム・ケシン
ソース