ブートストラップの.632+ルールとは何ですか？

107

ここで、 @ gungは.632+ルールを参照します。Googleで簡単に検索しても、このルールの意味と使用目的について理解しやすい答えは得られません。誰かが.632+ルールを解明していただけますか？

bootstrap

115

0.632エスティメータに到達しますが、やや長い開発になります。

我々が予測したいとしと機能の使用、データを用いて推定されているいくつかのパラメータに依存してもよい、例えば、 $Y$ $X$ $f$ $f$ $(\mathbf{Y}, \mathbf{X})$ $f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

予測誤差のナイーブ推定値であるここで、は何らかの損失関数、たとえば二乗誤差損失です。これはよくトレーニングエラーと呼ばれます。エフロン等。見かけのエラー率または再置換率と呼びます。データを使用してを近似するためあまり良くありません。これがもたらす下方に付勢されています。モデルが新しい値を予測する上でどれだけうまく機能しているかを知りたい。

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

L

$L$

(x_{i}, y_{i})

$(x_i,y_i)$

f

$f$

\bar{e r r}

$\overline{err}$

f

$f$

多くの場合、予想されるサンプル外予測誤差を推定する簡単な方法として相互検証を使用します（トレーニングセットにないデータに対してモデルはどの程度うまく機能しますか？）。

E r r = E [L (Y, f (X))]

$Err = \text{E}\left[ L(Y, f(X))\right]$

これを行う一般的な方法は、分割交差検定を行うことです。データをグループ（10個など）に分割します。各グループについて、モデルを残りのグループに適合させ、番目のグループでテストします。クロス検証された追加サンプル予測誤差は、平均 $K$ $K$ $k$ $K-1$ $k$ その観察にパーティションを示し、いくつかの指標関数であり割り当てられ、であります番目のセットにないデータを使用したの予測値。

E r r_{C V} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f_{- κ (i)} (x_{i}))

$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$

κ

$\kappa$

i

$i$

f_{- κ (i)} (x_{i})

$f_{-\kappa(i)}(x_i)$

x_{i}

$x_i$

κ (i)

$\kappa(i)$

$K=N$ $K$

交差検証の代わりに、ブートストラップを使用して、サンプル外の予測誤差を推定できます。ブートストラップのリサンプリングを使用して、統計のサンプリング分布を推定できます。トレーニングデータがである場合、このセットからブートストラップサンプル（置換）を取得することを考えることができます。各はサンプルのセットです。これで、ブートストラップサンプルを使用して、サンプル外の予測誤差を推定できます $\mathbf{X} = (x_1,\ldots,x_N)$ $B$ $\mathbf{Z}_1,\ldots,\mathbf{Z}_B$ $\mathbf{Z}_i$ $N$ ここで、は、モデルから番目のブートストラップデータセットに適合するでの予測値です。残念なことに、生成に使用されるブートストラップサンプルにはが含まれている可能性があるため、これは特に良い推定量ではありません。

E r r_{b o o t} = \frac{1}{B} \sum_{b = 1}^{B} \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f_{b} (x_{i}))

$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$

f_{b} (x_{i})

$f_b(x_i)$

x_{i}

$x_i$

b

$b$

f_{b} (x_{i})

$f_b(x_i)$

x_{i}

$x_i$ 。leave-one-outブートストラップ推定器は、交差検証を模倣することにより改善を提供し、次のように定義されます：

観測を含まないブートストラップサンプルのインデックスの集合である

、そして

そのようなサンプルの数です。

E r r_{b o o t (1)} = \frac{1}{N} \sum_{i = 1}^{N} \frac{1}{| C^{- i} |} \sum_{b \in C^{- i}} L (y_{i}, f_{b} (x_{i}))

$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$

C^{- i}

$C^{-i}$

i

$i$

| C^{- i} |

$|C^{-i}|$

E r r_{b o o t (1)}

$Err_{boot(1)}$ はオーバーフィットの問題を解決しますが、まだバイアスがかかっています（これは上にバイアスがかかっています）。バイアスは、置換を伴うサンプリングから生じるブートストラップサンプルの不明瞭な観察によるものです。各サンプルの個別の観測値の平均数は約

（なぜ、各ブートストラップサンプルに観測値の約3分の2が含まれているのかについての説明は、この回答を参照してください）。：バイアスの問題を解決するために、エフロンとTibshiraniは0.632推定提案

0.632 N

$0.632N$

ここで、

E r r_{.632} = 0.368 \bar{e r r} + 0.632 E r r_{b o o t (1)}

$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$

は、トレーニングエラーと呼ばれる予測エラーの単純な推定値です。考え方は、下方に偏った推定値と上方に偏った推定値を平均することです。

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

$\overline{err}=0$ $\overline{err}$ $Err_{boot(1)}$

E r r_{.632 +} = (1 - w) \bar{e r r} + w E r r_{b o o t (1)}

$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$

w = \frac{0.632}{1 - 0.368 R} and R = \frac{E r r_{b o o t (1)} - \bar{e r r}}{γ - \bar{e r r}}

$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$

γ

$\gamma$

y_{i}

$y_i$

x_{i}

$x_i$

γ = \frac{1}{N^{2}} \sum_{i = 1}^{N} \sum_{j = 1}^{N} L (y_{i}, f (x_{j}))

$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$

$R$ $Err_{boot(1)} = \overline{err}$

— ブデノビッチ
ソース

2

@rpierceは良い質問ですが、このスレッドの中心的なトピックからやや離れています。CVの組織的には、新しいスレッドに入れておくとよいでしょう。そうすれば、その情報を後で見つけて利用するのが簡単になります。

— GUNG

1

質問1：stats.stackexchange.com/questions/96764/...

— russellpierce

1

質問2：en.wikipedia.org/wiki/Resampling_%28statistics%29#Jackknife via stats.stackexchange.com/questions/21023/bootstrap-vs-jackknife

— russellpierce

1

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

\frac{1}{n} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}

$\dfrac{1}{n}\sum_{i=1}^n (y_i-\hat{y}_i)^2$

1

@rpierce、はい！私はいくつかのクラスノートからこの資料の多くをリサイクルしていたため、少し一般的でした。

— bdeonovic

53

$S$ $n$ $\{1:n\}$ $S$ $(1-e^{-1})\,n \approx 0.63212056\, n$

$S=\{s_1,\ldots,s_n\}$ $i=1,\ldots,n$ $\{1:n\}$ $m\in\{1:n\}$

次に：

P (s_{i} = m) = 1 / n

$P(s_i=m)=1/n$

そして

P (s_{i} \neq m) = 1 - 1 / n

$P(s_i\neq m)=1-1/n$

$\forall 1\leq i \leq n$ $i$

副<文>この[前述の事実の]結果として、それ故に、従って、だから◆【同】consequently; therefore <文>このような方法で、このようにして、こんなふうに、上に述べたように◆【同】in this manner <文>そのような程度まで<文> AひいてはB◆【用法】A and thus B <文>例えば◆【同】for example; as an example

P (m \in S) = 1 - P (m \notin S) = 1 - P (\cap_{i = 1}^{n} s_{i} \neq m) = 1 - \prod_{i = 1}^{n} P (s_{i} \neq m) = 1 - (1 - 1 / n)^{n} \approx 1 - e^{- 1}

$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$

$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley EfronおよびRobert Tibshirani（1997）。相互検証の改善：.632+ブートストラップメソッド。Journal of the American Statistical Association、Vol。92、No. 438、pp。548--560。

— user603
ソース

3

ここで参照であなたのためのドキュメントがある- stat.washington.edu/courses/stat527/s14/readings/...

1

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

S_{1}, \dots, S_{n}

$S_1,\dots,S_n$

P (S_{i} = k) = \frac{1}{n} I_{{1, \dots, n}} (k)

$P(S_i=k)=\frac{1}{n}\;I_{\{1,\dots,n\}}(k)$

P (\cup_{i = 1}^{n} {S_{i} = k}) = 1 - P (\cap_{i = 1}^{n} {S_{i} \neq k}) = 1 - \prod_{i = 1}^{n} P {S_{i} \neq k} = 1 - (1 - 1 / n)^{n} \to 1 - 1 / e \approx 63.21 %

$P(\cup_{i=1}^n\{S_i=k\})=1-P(\cap_{i=1}^n\{S_i\neq k\})=1-\prod_{i=1}^n P\{S_i\neq k\}=1-(1-1/n)^n\to1-1/e\approx 63.21\%$

4

1 - e^{- 1} \approx 0.63212056

$1-e^{-1}\approx0.63212056$

1

この答えも素晴らしいです。実際、受け入れられた答えとこの答えは、実際に私の質問に対する完全な答えを提供します。それは言われている-私は本当に両方を受け入れることが可能であったことを望みます。

— ラッセルピアス

1

@rpierce：セリーヌ・ディオンの言葉を引用すると、「昔の物語 /韻のような歌/美女と野獣」。：P

— ニックストーナー

8

$c$

— フランク・ハレル
ソース

3

ここでフランクが言ったことのほとんどは理解できないと思います。はっきりさせていただけますか？何かユニークで重要な貢献をしているようです。

— ラッセルピアス

特定の質問を述べることができれば、喜んで拡大します。

— フランクハレル

1

これらのスコアリングルールは...ブートストラップ結果の品質を判断するためのものですか？「分類された」正確なスコア規則を説明するリンクを提供してもらえますか、私はどんな種類の獣なのか想像するのに苦労しています。Googleでの「エフロンゴング楽観」の上位結果のうち、圧倒的多数はあなたによる投稿のようです...修飾子なしで「ブートストラップ」と言う場合とはどう違いますかどのEffron and Gongの記事に注目すべきですか？いくつかあるようです。

— ラッセルピアス

3

正確に分類された割合を使用および定義する0.632に関する元の論文を参照してください（Efron＆Tibshirani JASA 92：548; 1997）。楽観的ブートストラップは、バイアスを推定するためのブートストラップの変形です。Gong：JASA 85:20;に記述されています。1990年

— フランクハレル

2

これらの答えは非常に便利です。私は数学でそれを実証する方法を見つけることができなかったので、非常にうまく機能するPythonコードをいくつか書きました：

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)

— アニル・ナラシギン
ソース