「単純なブートストラップ」が失敗する例は何ですか？

未知の分布または複雑な分布からのサンプルデータのセットがあり、データの統計に対して何らかの推論を実行するとします。私のデフォルトの傾きはちょうど交換とブートストラップサンプルの束を生成し、そして私の統計を計算することであるための推定分布を作成するために、各ブートストラップ標本に。 $T$ $T$ $T$

これが悪い考えである例は何ですか？

たとえば、このブートストラップの単純な実行が失敗する場合の1つは、時系列データでブートストラップを使用しようとしている場合です（たとえば、重要な自己相関があるかどうかをテストするため）。上記のナイーブブートストラップ（元のシリーズからの置換でサンプリングすることにより、n番目のブートストラップサンプルシリーズの番目のデータポイントを生成）は、元の時系列の構造を無視するため、お勧めできません。ブロックブートストラップのような、より手の込んだブートストラップテクニックを取得します。 $i$

別の言い方をすれば、「置換によるサンプリング」以外にブートストラップには何がありますか？

hypothesis-testing confidence-interval bootstrap

— レグチン
ソース

iidデータの平均を推測したい場合、ブートストラップは素晴らしいツールです。他のすべては疑わしく、弱い収束の個別の証明が必要です。

— StasK

回答:

通常、分布の関数である関心のある量が適度に滑らかで、データがiidである場合、通常はかなり安全な領域にいます。もちろん、ブートストラップが機能する状況は他にもあります。

ブートストラップが「失敗」することの意味

大まかに言って、ブートストラップの目的は、対象の統計の近似サンプリング分布を構築することです。パラメーターの実際の推定ではありません。したがって、（ある程度のスケーリングとセンタリングの下で）関心のある統計がおよびである場合、ブートストラップ配布は分布に収束します。これがない場合、行われた推論を信頼できません。 $\newcommand{\Xhat}{\hat{X}_n}\Xhat$ $\Xhat \to X_\infty$ $X_\infty$

標準的な極端な順序統計量の標本分布を近似しようとすると、ブートストラップもIID枠組みの中で、失敗することができるときの例があります。以下は簡単な議論です。

分布からのランダムサンプルの最大次数統計 $\;\mathcal{U}[0,\theta]$

ましょう上IID一様確率変数のシーケンスである。ましょう。の分布は（非常に単純な引数により、これは実際に確率で示し、ランダム変数がすべて同じスペースで定義されている場合、ほぼ確実に表示されることに注意してください。） $X_1, X_2, \ldots$ $[0,\theta]$ $\newcommand{\Xmax}{X_{(n)}} \Xmax = \max_{1\leq k \leq n} X_k$ $\Xmax$

P (X_{(n)} \leq x) = (x / θ)^{n} .

$\renewcommand{\Pr}{\mathbb{P}}\Pr(\Xmax \leq x) = (x/\theta)^n \>.$

X_{(n)} \to θ

$\Xmax \to \theta$

基本計算では、または言い換えると、は分布が平均指数確率変数に収束します。

P (n (θ - X_{(n)}) \leq x) = 1 - (1 - \frac{x}{θ n})^{n} \to 1 - e^{- x / θ},

$\Pr( n(\theta - \Xmax) \leq x ) = 1 - \Big(1 - \frac{x}{\theta n}\Big)^n \to 1 - e^{-x/\theta} \>,$

n (θ - X_{(n)})

$n(\theta - \Xmax)$

θ

$\theta$

ここで、をリサンプリングしてを取得し、の分布の（単純な）ブートストラップ推定を作成します。を条件。 $n(\theta - \Xmax)$ $X_1, \ldots, X_n$ $X_1^\star,\ldots,X_n^\star$ $n(\Xmax - \Xmax^\star)$ $X_1,\ldots,X_n$

しかし、確率がであるため、ブートストラップ分布は、漸近的にもゼロの点質量を持ちます。実際の制限分布は連続的であるという事実。 $\Xmax^\star = \Xmax$ $1 - (1-1/n)^n \to 1 - e^{-1}$

真の極限分布は、平均の指数であるが、より明確に、、制限ストラップ分布が配置質点をサイズのゼロでの実際の値とは独立して。取って十分に大きいが、我々は、任意の一定期間のための小さな任意の分布制限真の確率を作ることができる、まだブートストラップします（まだこの間隔で少なくとも確率0.632があること！）レポート！このことから、この設定ではブートストラップがarbitrarily意的にひどく動作する可能性があることは明らかです。 $\theta$ $1−e^{-1} \approx 0.632$ $\theta$ $\theta$ $[0,\varepsilon)$

要約すると、この場合、ブートストラップは（惨めに）失敗します。パラメータ空間の端でパラメータを処理する場合、物事はうまくいかない傾向があります。

通常のランダム変数のサンプルからの例

驚くほど単純な状況でのブートストラップの失敗の他の同様の例があります。

サンプル検討からのパラメータ空間に制限されている。この場合のMLEはです。繰り返しますが、ブートストラップ推定ます。繰り返しますが、（観測されたサンプルに条件付き）の分布は、。 $X_1, X_2, \ldots$ $\mathcal{N}(\mu,1)$ $\mu$ $[0,\infty)$ $\newcommand{\Xbar}{\bar{X}}\Xhat = \max(\bar{X},0)$ $\Xhat^\star = \max(\Xbar^\star, 0)$ $\sqrt{n}(\Xhat^\star - \Xhat)$ $\sqrt{n}(\Xhat - \mu)$

交換可能なアレイ

おそらく最も劇的な例の1つは、交換可能なアレイです。ましょうこのようなため、その確率変数の配列であるすべての順列の一対行列および、配列およびは同じ結合分布を持ちます。つまり、行と列を並べ替えると、分布は不変に保たれます。（モデルははるかに一般的ですが、セルごとに1つの観測値がある双方向ランダム効果モデルを考えることができます。） $\newcommand{\bm}[1]{\mathbf{#1}}\bm{Y} = (Y_{ij})$ $\bm{P}$ $\bm{Q}$ $\bm{Y}$ $\bm{P} \bm{Y} \bm{Q}$ $\bm{Y}$

平均の信頼区間を推定したいとします（上記の交換可能性の仮定により、セルは同じでなければなりません）。 $\mu = \mathbb{E}(Y_{ij}) = \mathbb{E}(Y_{11})$

McCullagh（2000）は、そのような配列をブートストラップする2つの異なる自然な（つまり、素朴な）方法を検討しました。どちらも、サンプル平均の漸近分散を取得しません。また、一方向の交換可能な配列と線形回帰のいくつかの例を検討します。

参照資料

残念ながら、主題は自明ではないため、これらのどれも特に読みやすいものではありません。

P. BickelおよびD. Freedman、ブートストラップの漸近理論。アン。統計 、vol。9、いいえ。6（1981）、1196–1217。

DWK Andrews、パラメーターがパラメーター空間の境界にある場合のブートストラップの不一致、Econometrica、vol。68、いいえ。2（2000）、399–405。

P. McCullagh、リサンプリングおよび交換可能アレイ、ベルヌーイ、vol。6、いいえ。2（2000）、285-301。

ELレーマンとJPロマーノ、統計的仮説のテスト、第3回。ed。、Springer（2005）。[第15章：一般的な大規模サンプルメソッド]

— 枢機卿
ソース

指数分布のブートポイントの振る舞いは、指数分布がゼロで同様の「点質量」を持っていることを考えると、理にかなっているようです-指数分布のモードは0であるため、確率は最も可能性の高い値！ブートストラップはおそらく、指数関数の離散的な類似物である幾何分布のようなものになるでしょう。私はここで、ブートストラップの「失敗」としてこれを取らないであろう-の推定量のための常に適切な間隔にある

θ

$\theta$

θ \geq X_{(n)}

$\theta\geq X_{(n)}$

— probabilityislogic

@cardinal-無限のサンプルがない限り、漸近分布は適切なベンチマークではありません。ブートストラップ分布は、近似するように設計された有限サンプル分布と比較する必要があります。ブートストラップの反復回数が無限になると、ブートストラップ分布は有限サンプリング分布に収束することを示したいと思います。せ近似解ではない正確なものです。

n \to \infty

$n\to\infty$

— 確率論的

@cardinal +1、私は先に質問に賛成しましたが、非常に良い答え、例、記事へのリンクに感謝したいだけです。

— mpiktas

@probabilityislogicは、もちろん、漸近理論の一般的な適用では収束速度に依存し、遅い場合は適用できません。しかし、たとえば、サンプルサイズ100の均一な分布では、@ cardinalで概説した問題が発生すると思われるため、レートが遅いことを実証する必要があります。

— mpiktas

@probabilityislogic、最初は、最近の2つのコメントのうち後者のみを見ました。前者に対処するには、「ブートストラップが「失敗」することの意味」という見出しのある上記のセクションの最初の2つの文を見ることができます。ブートストラップは、パラメーターの推定に関するものではありません。目的のパラメーターを推定する良い方法があると仮定します（この場合、はうまく機能します）。ブートストラップは、パラメータの分布について何かを知ることであり、推論を行うことができます。ここで、ブートストラップは配布を（非常に！）間違っています。

X_{(n)}

$X_{(n)}$

— 枢機

次の本には、「ブートストラップが失敗した場合の対処法とともに失敗する場合」に特化した章（Ch.9）があります。

MR Chernick、Bootstrapメソッド：実務家および研究者向けガイド、第2版。ホーボーケンNJ：Wiley-Interscience、2008年。

トピックは次のとおりです。

サンプルサイズが小さすぎる
無限モーメントの分布
極値の推定
調査サンプリング
M依存のデータシーケンス
不安定な自己回帰プロセス
長距離依存

— サデグド
ソース

このスレッドの回答に対するこのコメントを見ましたか？ちなみに、そのコメントはChernickの本のAmazonページにリンクしています。読者レビューは啓発的です。

— whuber

@whuberまあ、私はそのコメントに気付かなかった。回答を削除する必要がありますか？

— サデハ

あなたの答えはコメントの参照よりも詳細なので、潜在的に価値があります：しかし、SEのポリシーと目的に沿って、あなたがこの本を推薦する理由のいくつかの説明でそれを増幅するのを見るのは良いでしょう---さらに良いです-情報の要約を含める。それ以外の場合はほとんど追加されないため、削除するか、質問へのコメントに変換する必要があります。

— whuber

素朴なブートストラップは、サンプルサイズが大きいことに依存しているため、データの経験的CDFは「真の」CDFに適切に近似しています。これにより、経験的CDFからのサンプリングが「真の」CDFからのサンプリングと非常によく似ていることが保証されます。極端な場合は、1つのデータポイントのみをサンプリングした場合です。ブートストラップはここでは何も達成しません。この退化したケースに近づくにつれて、それはますます役に立たなくなります。

単純にブートストラップすることは、時系列分析では必ずしも失敗しません（非効率的かもしれませんが）-トレンドコンポーネントに対して連続時間の基底関数（ルジャンドル多項式など）を使用し、周期的に連続時間の正弦関数と余弦関数を使用して系列をモデル化する場合成分（および通常のノイズ誤差項）。その後、たまたま尤度関数にサンプリングした回数を入力します。ここでブートストラップするための災害はありません。

自己相関またはARIMAモデルには上記の形式の表現があります-このモデルは使いやすく、理解して解釈すると思います（サイン関数とコサイン関数のサイクルを理解しやすく、ARIMAモデルの係数を理解しにくい）。たとえば、自己相関関数は、時系列のパワースペクトルの逆フーリエ変換です。

— 確率論
ソース

@probabilityislogic -1、私は誤って以前に答えを投票しました（Opera miniを非難）ので、投票することができるようにそれを編集しなければなりませんでした。最初に答えが気に入らなかったからといって、これをやったが、議論を準備したかったのでダウン票を投じなかった。

— mpiktas

@probabilityislogic、時系列プロセスでは時間が重要な役割を果たすため、ベクトル分布はとは異なります。単純なブートストラップで行われたリサンプリングはこの構造を破壊するため、たとえばAR（1）モデルに適合させようとすると、リサンプリング後にをに適合させようとしていることがあります。自然に見えません。あなたは、「ブートストラップ時系列」をグーグル場合は第二の記事は時系列の分散の推定値を持っているかの例を与える...

(X_{t}, X_{t + 1})

$(X_t,X_{t+1})$

(X_{t + 1}, X_{t})

$(X_{t+1},X_t)$

Y_{10}

$Y_{10}$

ρ Y_{15}

$\rho Y_{15}$

— mpiktas

@ probabilityislogic、AR（1）モデルの単純なブートストラップ推定の答えであなたのアイデアを示すことは可能でしょうか？私はそれが可能であるとは思わない、それ故にダウン投票の基本的な理由。間違いを証明できてうれしいです。

ρ

$\rho$

Y_{t} = ρ Y_{t - 1} + u_{t}

$Y_t=\rho Y_{t-1}+u_t$

— mpiktas

@probabilityislogic、および？その場合のの見積もりはどうなりますか？申し訳ありませんが、この場合、素朴なブートストラップが失敗しないことをどのように示すことができるのか、本当にわかりません。

r h o

$rho$

— mpiktas

ここにある私の本には、ブートストラップがいつ失敗するかに関する章と、ブートストラップが時系列でどのように適用されるかに関する章があります。時系列の場合、モデルベースのアプローチでモデルからの残差にブートストラップを適用できます。他のノンパラメトリック時間領域アプローチは、多くのタイプがあるブロックブートストラップです。

— マイケルチャーニック