ブートストラップ予測間隔

線形回帰または他の回帰法（k最近傍、回帰木など）から得られたポイント予測の予測間隔を計算するために利用可能なブートストラップ手法はありますか？

どういうわけか、ポイント予測（たとえば、kNN回帰の予測区間を参照）を単にブートストラップするために時々提案される方法は、予測区間ではなく信頼区間を提供していると感じています。

Rの例

# STEP 1: GENERATE DATA

set.seed(34345)

n <- 100 
x <- runif(n)
y <- 1 + 0.2*x + rnorm(n)
data <- data.frame(x, y)


# STEP 2: COMPUTE CLASSIC 95%-PREDICTION INTERVAL
fit <- lm(y ~ x)
plot(fit) # not shown but looks fine with respect to all relevant aspects

# Classic prediction interval based on standard error of forecast
predict(fit, list(x = 0.1), interval = "p")
# -0.6588168 3.093755

# Classic confidence interval based on standard error of estimation
predict(fit, list(x = 0.1), interval = "c")
# 0.893388 1.54155


# STEP 3: NOW BY BOOTSTRAP
B <- 1000
pred <- numeric(B)
for (i in 1:B) {
  boot <- sample(n, n, replace = TRUE)
  fit.b <- lm(y ~ x, data = data[boot,])
  pred[i] <- predict(fit.b, list(x = 0.1))
}
quantile(pred, c(0.025, 0.975))
# 0.8699302 1.5399179

明らかに、95％の基本ブートストラップ間隔は、95％の予測間隔ではなく、95％の信頼区間と一致します。だから私の質問：それを適切に行う方法？

bootstrap prediction-interval

— マイケル・M
ソース

少なくとも通常の最小二乗の場合は、単なるポイント予測以上のものが必要です。予測区間も構築するために、推定された残差を使用する必要があります。

— Kodiologist

関連：stats.stackexchange.com/q/44860

@duplo：これを指摘してくれてありがとう。古典的な予測区間の正しい長さは、エラー項の正規性の仮定に直接依存しているため、楽観的すぎる場合、ブートストラップされたバージョンはそこから派生したものになることは間違いありません。一般に、回帰で動作するブートストラップメソッドがあるかどうか（必ずしもOLSではない）。

— マイケルM

\ textit {conformal inference}はあなたが望むものだと思います。これにより、有効な有限サンプルカバレッジを持ち、過度にカバーしないリサンプリングベースの予測区間を構築できます。トピックの紹介として読むことができるarxiv.org/pdf/1604.04173.pdfにある良い論文と、github.com/ryantibs/conformalから入手できるRパッケージがあります。

— サイモンボゲブラント

以下に示す方法は、Davidson and Hinckley（1997）のセクション6.3.3、Bootstrap Methods and their Applicationで説明されている方法です。ここにGlen_bと彼のコメントに感謝します。このトピックに関して相互検証に関するいくつかの質問があることを考えると、私はそれを書く価値があると思いました。

線形回帰モデルは次のとおりです。

\begin{aligned} Y_{i} & = X_{i} β + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= X_i\beta+\epsilon_i \end{align}$

我々は、データを持っている我々は推定するために使用し、：として $i=1,2,\ldots,N$ $\beta$

\begin{aligned} {\hat{β}}_{OLS} & = {(X^{'} X)}^{- 1} X^{'} Y \end{aligned}

$\begin{align} \hat{\beta}_{\text{OLS}} &= \left( X'X \right)^{-1}X'Y \end{align}$

今、私たちは何を予測したい、我々が知っていることを考えると、新しいデータポイントになりそれのために。これが予測の問題です。新しい（既知）と新しい（予測したい）呼び出しましょう。通常の予測は（がiidでと無相関であると仮定している場合）： $Y$ $X$ $X$ $X_{N+1}$ $Y$ $Y_{N+1}$ $\epsilon_i$ $X$

\begin{aligned} Y_{N + 1}^{p} & = X_{N + 1} {\hat{β}}_{OLS} \end{aligned}

$\begin{align} Y^p_{N+1} &= X_{N+1}\hat{\beta}_{\text{OLS}} \end{align}$

この予測による予測エラーは次のとおりです。

\begin{aligned} e_{N + 1}^{p} & = Y_{N + 1} - Y_{N + 1}^{p} \end{aligned}

$\begin{align} e^p_{N+1} &= Y_{N+1}-Y^p_{N+1} \end{align}$

この式を次のようにことができ。

\begin{aligned} Y_{N + 1} & = Y_{N + 1}^{p} + e_{N + 1}^{p} \end{aligned}

$\begin{align} Y_{N+1} &= Y^p_{N+1} + e^p_{N+1} \end{align}$

これで、がすでに計算されました。したがって、を一定の間隔（たとえば、90％の時間）でバインドする場合、のおよびパーセンタイル/分位数を一貫して推定するだけです。、それらをと呼び、予測間隔は。 $Y^p_{N+1}$ $Y_{N+1}$ $5^{th}$ $95^{th}$ $e^p_{N+1}$ $e^5,e^{95}$ $\left[Y^p_{N+1}+e^5,Y^p_{N+1}+e^{95} \right]$

の分位数/パーセンタイルを推定する方法は？さて、次のように書くことができます： $e^p_{N+1}$

\begin{aligned} e_{N + 1}^{p} & = Y_{N + 1} - Y_{N + 1}^{p} \\ = X_{N + 1} β + ϵ_{N + 1} - X_{N + 1} {\hat{β}}_{OLS} \\ = X_{N + 1} (β - {\hat{β}}_{OLS}) + ϵ_{N + 1} \end{aligned}

$\begin{align} e^p_{N+1} &= Y_{N+1}-Y^p_{N+1}\\ &= X_{N+1}\beta + \epsilon_{N+1} - X_{N+1}\hat{\beta}_{\text{OLS}}\\ &= X_{N+1}\left( \beta-\hat{\beta}_{\text{OLS}} \right) + \epsilon_{N+1} \end{align}$

戦略は、から（ブートストラップのような方法で）何回もサンプリングし、通常の方法でパーセンタイルを計算することです。したがって、多分から10,000回サンプリングし、およびパーセンタイルをおよび最小メンバーとして推定します。標本、見本。 $e^p_{N+1}$ $e^p_{N+1}$ $5^{th}$ $95^{th}$ $500^{th}$ $9,500^{th}$

を描画するには、ブートストラップエラーを使用できます（ケースも問題ありませんが、iidを想定しています）とにかくエラー）。そのため、各ブートストラップレプリケーションで、分散調整された残差（次の段落を参照）を置換して回描画し、を取得してから、新しい、その後、新しいデータセット OLSを実行して、このレプリケーションのを取得します。最後に、この複製のの描画は $X_{N+1}\left( \beta-\hat{\beta}_{\text{OLS}} \right)$ $N$ $\epsilon^*_i$ $Y^*_i=X_i\hat{\beta}_{\text{OLS}}+\epsilon^*_i$ $\left(Y^*,X \right)$ $\beta^*_r$ $X_{N+1}\left( \beta-\hat{\beta}_{\text{OLS}} \right)$ $X_{N+1}\left( \hat{\beta}_{\text{OLS}}-\beta^*_r \right)$

iid想定している場合、方程式の部分からサンプリングする自然な方法は、回帰から得た残差。残差は異なるため、一般的に分散が小さすぎるため、、分散修正残差。ここで、あり、は観測値てこです。 $\epsilon$ $\epsilon_{N+1}$ $\left\{ e^*_1,e^*_2,\ldots,e^*_N \right\}$ $\left\{ s_1-\overline{s},s_2-\overline{s},\ldots,s_N-\overline{s} \right\}$ $s_i=e^*_i/\sqrt{(1-h_i)}$ $h_i$ $i$

そして、最後に、90％の予測区間製造するためのアルゴリズムとすれば、あるです。 $Y_{N+1}$ $X$ $X_{N+1}$

作る予測。 $Y^p_{N+1}=X_{N+1}\hat{\beta}_{\text{OLS}}$
分散調整残差、。ここで、。 $\left\{ s_1-\overline{s},s_2-\overline{s},\ldots,s_N-\overline{s}\right\}$ $s_i=e_i/\sqrt(1-h_{i})$
レプリケーション：
- 調整された残差に回描画して、ブートストラップ残差を作成します $N$ $\left\{\epsilon^*_1,\epsilon^*_2,\ldots,\epsilon^*_N \right\}$
- ブートストラップ $Y^*=X\hat{\beta}_{\text{OLS}}+\epsilon^*$
- この複製のブートストラップOLS推定量を計算します、 $\beta^*_r=\left( X'X \right)^{-1}X'Y^*$
- この複製からブートストラップ残差を取得します、 $e^*_r=Y^*-X\beta^*_r$
- この複製からブートストラップ分散調整残差を計算します、 $s^*-\overline{s^*}$
- この複製からブートストラップ分散調整残差の1つ、描画し $\epsilon^*_{N+1,r}$
- この複製の描画を、計算し $e^p_{N+1}$ $e^{p*}_r=X_{N+1}\left( \hat{\beta}_{\text{OLS}}-\beta^*_r \right)+\epsilon^*_{N+1,r}$
、およびパーセンタイルを見つける $5^{th}$ $95^{th}$ $e^p_{N+1}$ $e^5,e^{95}$
90％予測間隔はです。 $Y_{N+1}$ $\left[Y^p_{N+1}+e^5,Y^p_{N+1}+e^{95} \right]$

ここにあるRコードは：

# This script gives an example of the procedure to construct a prediction interval
# for a linear regression model using a bootstrap method.  The method is the one
# described in Section 6.3.3 of Davidson and Hinckley (1997),
# _Bootstrap Methods and Their Application_.


#rm(list=ls())
set.seed(12344321)
library(MASS)
library(Hmisc)

# Generate bivariate regression data
x <- runif(n=100,min=0,max=100)
y <- 1 + x + (rexp(n=100,rate=0.25)-4)

my.reg <- lm(y~x)
summary(my.reg)

# Predict y for x=78:
y.p <- coef(my.reg)["(Intercept)"] + coef(my.reg)["x"]*78
y.p

# Create adjusted residuals
leverage <- influence(my.reg)$hat
my.s.resid <- residuals(my.reg)/sqrt(1-leverage)
my.s.resid <- my.s.resid - mean(my.s.resid)


reg <- my.reg
s <- my.s.resid

the.replication <- function(reg,s,x_Np1=0){
  # Make bootstrap residuals
  ep.star <- sample(s,size=length(reg$residuals),replace=TRUE)

  # Make bootstrap Y
  y.star <- fitted(reg)+ep.star

  # Do bootstrap regression
  x <- model.frame(reg)[,2]
  bs.reg <- lm(y.star~x)

  # Create bootstrapped adjusted residuals
  bs.lev <- influence(bs.reg)$hat
  bs.s   <- residuals(bs.reg)/sqrt(1-bs.lev)
  bs.s   <- bs.s - mean(bs.s)

  # Calculate draw on prediction error
  xb.xb <- coef(my.reg)["(Intercept)"] - coef(bs.reg)["(Intercept)"] 
  xb.xb <- xb.xb + (coef(my.reg)["x"] - coef(bs.reg)["x"])*x_Np1
  return(unname(xb.xb + sample(bs.s,size=1)))
}

# Do bootstrap with 10,000 replications
ep.draws <- replicate(n=10000,the.replication(reg=my.reg,s=my.s.resid,x_Np1=78))

# Create prediction interval
y.p+quantile(ep.draws,probs=c(0.05,0.95))

# prediction interval using normal assumption
predict(my.reg,newdata=data.frame(x=78),interval="prediction",level=0.90)


# Quick and dirty Monte Carlo to see which prediction interval is better
# That is, what are the 5th and 95th percentiles of Y_{N+1}
# 
# To do it properly, I guess we would want to do the whole procedure above
# 10,000 times and then see what percentage of the time each prediction 
# interval covered Y_{N+1}

y.np1 <- 1 + 78 + (rexp(n=10000,rate=0.25)-4)
quantile(y.np1,probs=c(0.05,0.95))

— ビル
ソース

有用で詳細な説明をありがとう。これらの線に従って、OLS以外の一般的な手法（ツリーベースの手法、最近傍など）は簡単に利用できるとは思わないでしょうか？

— マイケルM

これはランダムフォレスト用です：stats.stackexchange.com/questions/49750/…これは似ています。

— ビル

私が知る限り、をに抽象化すると、この手法はどのモデルでも機能します。

X β

$X\beta$

f (X, θ)

$f(X, \theta)$

— シャドウトーカー

「分散調整残差」をどのように一般化しますか-OLSアプローチはレバレッジに依存します-任意のf（X）推定量のレバレッジ計算はありますか？

— デビッドウォーターワース