統計が滑らかな場合にのみ、ブートストラップが有効であるという結果がありますか？

全体を通して、統計量 $\theta(\cdot)$ は、分布関数から得られるデータ関数であると仮定します。サンプルの経験的分布関数はです。したがって、は確率変数として表示される統計であり、は統計のブートストラップバージョンです。KS距離としてを使用します $X_1, \ldots X_n$ $F$ $\hat{F}$ $\theta(F)$ $\theta(\hat{F})$ $d_\infty$

統計が単純な線形統計である場合、ブートストラップの有効性に対して「if and only if」結果があります。たとえば、Mammenの定理1「ブートストラップはいつ機能しますか？」

もしいくつかの任意の機能のためのことその後ブートストラップは意味で動作するが存在する場合にのみおよびとなるように $\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)$ $h_n$
$d_{\infty} [L (θ (\hat{F}) - {\hat{t}}_{n}), L (θ (F) - t_{n})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0$ $\sigma_n$ $t_n$ 我々は定義することができる我々のサンプルの一部機能として $d_{\infty} [L (θ (F) - t_{n}), N (0, σ_{n}^{2})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(F)-t_n), N(0, \sigma_n^2)\big]\underset{p}{\rightarrow} 0$ $\hat{t_n}$ $t_n = \mathbb{E}(\hat{t}_n)$

また、Politis RomanoとWolfによるSubsamplingの定理1.6.3など、一般的な統計に対してブートストラップが機能するより一般的な結果もあります。

は、有限のサポートを持つすべての分布のクラスから引き出されると仮定します。統計量がで極値ノルムに関して微分可能であり、微分が満たすと仮定します。次に、は漸近的に正常であり、ブートストラップは前の定理の意味で機能します。 $F$ $\theta(\cdot)$ $F$ $g_F$ $0 < \textrm{Var}_F[g_F(x)] < \infty$ $\theta(F)$

2番目の定理の「if and only if」バージョンが必要です。Politis、Romano and Wolf（1999）はサンプルの中央値がフレシェ微分可能ではないがブートストラップは機能することを示しているため、これにはフレシェ微分と異なる滑らかさの概念が必要です。ただし、サンプルの中央値は依然としてデータの滑らかな関数です。

Mammenには、スムーズさが必要であるという非公式のコメントがいくつかあります。

通常、ブートストラップの一貫性には局所的な漸近線形性が必要と思われます

引用は次のとおりです。

van Zwet、W（1989）。Olberwolfachで開催された「統計におけるコンピューター集約型手順の漸近法」に関する会議での講演。

しかし、ほんの一握りの引用を除いて、この話の痕跡は見当たりません。

— オリゾン
ソース

素晴らしいトピック。引用されたすべての結果は、サンプルサイズが無限に近づいている場合に漸近的であることは正しいですか？

— マイケルM

@Michaelありがとう、はい、すべては

ように漸近的です。ちなみに、有限サンプルの結果に関するいくつかの最近の研究（例：arxiv.org/pdf/1212.6906.pdf）がありますが、非常に技術的です。

n \to \infty

$n \rightarrow \infty$

— オリゾン

複雑なトピック。ブートストラップは一般に機能しないと言う人もいます。van Zwer et al。何がブートストラップされるかに注意しなければならないと言っています。さらなるテストが保証される前に、まず何をブートストラップし、何をブートストラップしないかを確立する必要があると思います。

— カール

今、私はマンメンのコメントに応じて答えを更新しました。あなたの混乱をさらに明確にすることを願っています。また、必要に応じて、必要性について尋ねる動機となるアプリケーションについて少し説明できます。それは私の答えを改善するのに役立ちます。

— Henry.L 16

（1）なぜ分位数推定量はフレシェ微分可能ではないが、ブートストラップ推定量はまだ一貫しているのか？ $\blacksquare$

その場合、ブートストラップを機能させるための十分な条件として、アダマールの微分可能性（または参照ソースに応じたコンパクトな微分可能性）が必要です。中央値と任意の分位数はアダマール微分可能です。フレシェの微分可能性は、ほとんどのアプリケーションで強すぎます。

通常はポーランドの空間について説明するだけで十分なので、局所的な線形汎関数を使用して典型的なコンパクト性の引数を適用し、一貫性の結果をグローバルな状況に拡張します。以下の線形化コメントも参照してください。

[Wasserman]の定理2.27は、アダマール微分が弱い概念であるという直観を与えます。[Shao＆Tu]の定理3.6および3.7は、観測サイズ統計関数のアダマール微分可能性に関して、弱い一貫性の十分条件を与えます。 $\rho$ $T_{n}$ $n$

（2）何は、ブートストラップ推定量の一貫性に影響を与えるのだろうか？ $\blacksquare$

[Shao＆Tu] pp.85-86は、ブートストラップ推定器の不整合が発生する可能性がある状況を示しました。

（1）ブートストラップは、母集団尾の振る舞いに敏感です。の一貫性には、限界の存在に必要な条件よりも厳しいモーメント条件が必要です。 $F$ $H_{BOOT}$ $H_0$

（2）ブートストラップ推定器の一貫性には、指定された統計（関数）からある程度の滑らかさが必要です。 $T_{n}$

（3）ブートストラップ推定器の動作は、ブートストラップデータの取得に使用される方法に依存する場合があります。

[Shao＆Tu]のSec 3.5.2では、平滑化カーネルを使用した変位値の例を再検討しました。モーメントは線形汎関数であることに注意してください。「ブートストラップの一貫性のために典型的に局所的な漸近線形が必要だ」という質問の引用には、関数のある程度の分析性が必要です。 Weierstrass関数のように（これは連続的であり、どこでも微分できない）。 $K$

（3）なぜ、地元の直線性は、ブートストラップ推定の一貫性を確保する上で必要と思われますか？ $\blacksquare$

あなたが述べたように、Mammenによって行われたコメント「ブートストラップの一貫性のために、典型的には局所的な漸近線形性が必要であるようです」。[Shao＆Tu] p.78からのコメントは、（グローバル）線形化は一貫性の証明を容易にする技術に過ぎず、必要性を示していないため、次のとおりです。

線形化の結果は多くの場合利用可能であるか、以前に紹介した手法を使用して確立できるため、ブートストラップ推定器の一貫性を証明する上で、線形化は別の重要な手法です。所定の統計量Tnが線形確率変数で近似できると仮定（ここで、である線形統計）、すなわち、（3.19） $\bar{Z_n}=\frac{1}{n}\sum_{i=1}^{n}\phi(X_n)$ $\phi(X)$ $X$ レッツとのブートストラップ類似体であると、それぞれ、ブートストラップサンプルに基づいて、。我々は結果を確立できる場合はに似て（3.19）、すなわち、（3.20）
$T_{n} = θ + \bar{Z_{n}} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n=\theta+\bar{Z_n}+o_{P}(\frac{1}{\sqrt{n}})$ $T_n^{*}$ $\bar{Z_n^{*}}$ $T_n$ $\bar{Z_n}$ $\{X_1^{*},\cdots,X_n^{*}\}$ $T_n^{*}$ 、次いで限界（ここで、パラメータの値） $T_{n}^{*} = θ + {\bar{Z_{n}}}^{*} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n^{*}=\theta+\bar{Z_n}^{*}+o_{P}(\frac{1}{\sqrt{n}})$ $H_{BOOT}(x)$ $x$ と同様である $=P\{\sqrt{n}(T_n-T_n^{*}) \leq x\}$ 我々は、このように「サンプル平均」伴う問題に問題が低下している、そのブートストラップ分布推定器は、セクション3.1の方法を使用して一致することを示すことができます.2-3.1.4。 $P\{\sqrt{n}(\bar{Z_n}-\bar{Z_n}^{*}) \leq x\}$ $\bar{Z_n}$

また、MLEタイプのブートストラップのブートストラップ整合性を取得する例3.3を示しました。ただし、グローバル線形性がそのように効果的である場合、ローカル線形性なしで一貫性を証明する方法を想像することは困難です。それが、マンメンが言いたかったことだと思います。

（4）さらなるコメント $\blacksquare$

上記の[Shao＆Tu]が提供した議論を超えて、あなたが望むのは、ブートストラップ推定器の一貫性の特性条件だと思います。

$M(X)$ $T$ $CLT$

$M(X)$

私はシニカルであるのは嫌いですが、これが「無効から引用」している唯一の統計的記述ではないと感じています。これを言うことによって、私はvan Zwetの講演への引用は非常に無責任であると感じますが、van Zwetは偉大な学者です。

$\blacksquare$

[ワッサーマン]ワッサーマン、ラリー。すべてのノンパラメトリック統計、Springer、2010。

[Shao＆Tu] Shao、Jun、およびDongsheng Tu。ジャックナイフとブートストラップ。スプリンガー、1995。

[Gine＆Zinn]ジネ、エヴァリスト、ジョエル・ジン。「一般的な経験的手段のブートストラップ。」Annals of Probability（1990）：851-869。

[Huber] Huber、ピーターJ.ロバスト統計。ワイリー、1985年。

— ヘンリー・L
ソース