ブートストラップと数値積分

8

ブートストラップアプローチに関する私の理解は、Wassermanのフレームワーク（ほとんど逐語的）に基づいています。

LET （統計である分布から引き出さIIDサンプルである）。我々は推定したいとしの分散-与えられた。 $T_n = g(X_1, ..., X_n)$ $X_i$ $F$ $V_F(T_n)$ $T_n$ $F$

ブートストラップアプローチは、次の2つの手順に従います。

を推定します。ここで、は経験分布関数です。 $V_F(T_n)$ $V_{\hat{F}}(T_n)$ $\hat{F}$

近似シミュレーションを用いて。 $V_{\hat{F}}(T_n)$

ステップ2のシミュレーションは、実際に役立つ値に対して実行不可能であることを除いて、正確な計算に置き換えることができることを正しく理解していますか？これが私の考えです：は積分に正確に等しくなり。は有限数ステップのステップ関数です。したがって、質量がゼロでない点を除くすべての点を無視できます。したがって、積分は項の合計に正確に等しくなります。一旦 14を超えると、簡単な直接計算が不可能です。 $n$ $V_{\hat{F}}$ $T_n(X_1, ..., X_n)d\hat{F}(X_1)d\hat{F}(X_2)...d\hat{F}(X_n)$ $\hat{F}$ $n$ $n$ $d\hat{F}(x)$ $n^n$ $n$

しかし、私たちがやろうとしているのは、積分を計算することだけです。総当たりのブートストラップシミュレーションを、積分を取るための従来の数値アルゴリズムに置き換えてみませんか？同じ計算時間ではるかに高い精度になるのではないでしょうか？

サンプル空間をセクションに分割するだけの簡単なもの（おそらく、サンプル統計が速く変化する小さなボリュームの場合）で、中間点を使用して各セクションの統計値を推定することは、ブラインドブートストラップよりも優れているようです。

何が欠けていますか？

おそらく、ブートストラップは非常に高速で機能するので、もっと複雑なことをする必要はありませんか？（例えば、ステップ1での精度の損失がステップ2でのそれよりもはるかに大きい場合、ステップ2の改善はあまり役に立ちません。）

bootstrap computational-statistics

— 最高
ソース

6

$\hat\theta(Y)$ $\hat\theta(Y^*)$

たとえば、1000回以上の回帰モデルを当てはめることは、（今日）CPU時間やコーディングの労力の点で大したことではありません。

対照的に、数値積分（モンテカルロ法を除く）はコーディングが難しい場合があります。たとえば、サンプル空間を分割する方法を決定する必要がありますが、これは重要なタスクです。これらの方法も診断を提供せず、真の積分を推定する精度は悪名高く評価するのが困難です。

ブートストラップが行うことのほとんどをより迅速に行うには、一般化されたモーメント法を参照してください-回帰モデル（および他の多く）に基づく推論については、それをノンパラメトリックブートストラップの迅速かつ正確な近似と考えることができます与えるでしょう。

— ゲスト
ソース

ありがとう。ステップ2はかなりうまく処理されているので、気になります。GMMやその他の手法で、ステップ1の不正確さに対処できますか（ここでは、実際の分布の分散を経験的分布の分散で推定します）。

— 最大

「プレーンバニラ」GMMは、真の共分散に対してかなり単純な近似を使用します。より高次の近似（サドルポイント近似など）を使用することもできますが、自分でコーディングする必要があり、 "最良の"近似が得られることを保証するために、通常のGMMよりもわずかに強い仮定を行う必要があります。

— ゲスト

3

分散の数値計算のためにブートストラップで最も頻繁に使用されるシミュレーションは、原則として、積分の正確な計算または代替の近似によって置き換えることができます。ただし、他の数値積分手法に代わる「ブルートフォース」シミュレーションが実際には良いアイデアであることを認識しておく必要があります。「同じ計算時間ではるかに高い精度が得られないのではないか」という質問への回答。はありません。

$r$ $r^n$

事実上何も知らない、準モンテカルロ積分など、通常のモンテカルロ積分に使用する疑似乱数ではなく、準乱数に基づいて巧妙な関数評価を行う他の方法があります。

— NRH
ソース