ブートストラップサンプルの平均とサンプルの統計

サンプルと、このサンプルのスタスティック（平均など）のブートストラップサンプルがあるとします。我々はすべて知っているように、このブートストラップサンプルは推定標本分布統計の推定のを。 $\chi$

さて、このブートストラップサンプルの平均は、元のサンプルの統計よりも母集団統計のより良い推定値ですか？どのような条件下でそれが当てはまりますか？

estimation bootstrap

ブートストラップサンプルの平均値は、あるサンプルの平均値と、あなたは、この場合には、ブートストラップサンプルを必要としません。

— 西安

@ Xi'anに感謝します。ブートストラップサンプルの平均は、サンプルの平均と数値的に異なる場合があります。この2つはまだ理論的に同等であると言いたいですか？両端で確認できますか？

— アメリオバスケスレイナ

用語を明確にしましょう。「ブートストラップサンプル」は、データからの特定の置換サンプルを指すか、そのようなサンプルが1つの実現と見なされる（多変量）ランダム変数を指す場合があります。実現の平均はデータの平均と異なることがありますが、@ Xi'anは、確率変数の平均（定義により母平均のブートストラップ推定）が一致する必要があるというより関連性の高い観測を提供しますデータの平均で。

— whuber

その場合、あなたの質問はstats.stackexchange.com/questions/126633/…とほぼ同じです。唯一の違いは、ブートストラップのサンプルの実現が重複する可能性があることですが、そこでの回答で与えられた分析はブートストラップの状況に簡単に引き継がれ、同じ結果が得られます。

— whuber

@whuberの接続が表示されますが、ブートストラップには「置換のあるサブセット」があり、実現は重複する可能性があります。ブートストラップで再サンプルを取得するために使用される分布（たとえば、疑似ランダム性）も、ブートストラップサンプルからの推定値のバイアスに影響を与える可能性があることを想像します。おそらく、答えは、すべての実際的な問題について、違いはごくわずかであるということです。これが問題の後にあるものです。条件、微妙さ、実際の違いです。

— アメリオバスケスレイナ

回答:

問題の核心に焦点を当てるように、一般化しましょう。疑問を残さないように、私は最も細かい詳細を綴ります。分析に必要なものは次のとおりです。

一連の数値の算術平均は、次のように定義されます。 $z_1, \ldots, z_m$

$\frac{1}{m} （ z_{1} + \dots + z_{m} ）。$ $\frac{1}{m}\left(z_1 + \cdots + z_m\right).$
期待は線形演算子です。 場合すなわち、ランダム変数であり、数値であり、次いで、線形結合の期待が期待の線形組み合わせです、 $Z_i, i=1,\ldots,m$ $\alpha_i$

$E （ α_{1} Z_{1} + \dots + α_{m} Z_{m} ） = α_{1} E （ Z_{1} ） + \dots + α_{m} E （ Z_{m} ）。$ $\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$

ましょ試料でデータセットから得られた取ることによってから均等要素を交換に。ましょうの算術平均である。これはランダム変数です。それから $B$ $(B_1, \ldots, B_k)$ $x = (x_1, \ldots, x_n)$ $k$ $x$ $m(B)$ $B$

E （ m （ B ） ） = E （ \frac{1}{k} （ B_{1} + \dots + B_{k} ） ） = \frac{1}{k} （ E （ B_{1} ） + \dots + E （ B_{k} ） ）

$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$

期待の線形性が続きます。要素ので、全て同じやり方で得られ、それらはすべて同じ期待、持っている発言権： $B$ $b$

E （ B_{1} ） = \dots = E （ B_{k} ） = b 。

$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$

これにより、前述の内容が単純化されます。

E （ m （ B ） ） = \frac{1}{k} （ b + b + \dots + b ） = \frac{1}{k} （ k b ） = b 。

$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$

定義上、期待値は確率加重された値の合計です。各値は、選択される確率がであると想定されるため、 $X$ $1/n$

E （ m （ B ） ） = b = E （ B_{1} ） = \frac{1}{n} {バツ}_{1} + \dots + \frac{1}{n} {バツ}_{n} = \frac{1}{n} （ {バツ}_{1} + \dots + {バツ}_{n} ） = \bar{バツ} 、

$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$

データの算術平均。

、質問に答えるためにいずれかを使用したデータは、平均場合集団平均値を推定するために、その後、ブートストラップ平均は（ケースである）も等しく、したがってある同じ集団の平均の推定として。 $\bar x$ $k=n$ $\bar x$

データの線形関数ではない統計の場合、同じ結果が必ずしも保持されるとは限りません。ただし、単にデータの統計値をブートストラップ平均に置き換えるのは間違っています。これはブートストラップの仕組みではありません。代わりに、ブートストラップ平均をデータ統計と比較することにより、統計のバイアスに関する情報を取得します。これを使用して、元の統計を調整してバイアスを除去できます。したがって、バイアス補正された推定値は、元の統計とブートストラップ平均の代数的組み合わせになります。詳細については、「BCa」（バイアス補正および高速化されたブートストラップ）および「ABC」を参照してください。ウィキペディアにはいくつかの参照があります。

— ヒューバー
ソース

ブートストラップ平均の期待値はデータ平均に等しいということですか？ブートストラップは、それ自体が（元の）データサンプルによって決定されないことを意味します。

— カピバラ

@ user2429920ブートストラップ平均は、サンプルによって決定される統計です。この意味で、それは標本平均と同一です。その期待は、サンプリング分布の意味でとられます。置換を伴うサブサンプリングを繰り返してブートストラップ平均を計算するプロセスとは異なる意味で「期待」を使用しているのではないかと思います。

— whuber

最後の段落はこの質問に対する実際の答えだと思います。これは一般的なものであり、平均統計だけに焦点を当てているわけではないからです。OPが行ったのと同じ疑いがあり、BCaの存在を知りませんでした。この回答のデモンストレーションはあまり役に立ちませんでしたが（平均値を統計として使用していません）、最後の段落は問題の核心について非常に明確でした。西安の答えは、平均統計が使用されている場合にも当てはまると思うので、同じ問題です。ありがとうございました！

— ガブリエル

@ガブリエルの良い点。私は記録をチェックしました。編集する前に、この質問はもともと平均についてのみ尋ねました。それが、答えがその統計に非常に焦点を当てているように見える理由です。

— whuber

ブートストラップ分布は以下のように定義されているので、

{\hat{F}}_{n} （ バツ ） = \frac{1}{n} \sum_{私 = 1}^{n} 私_{{バツ}_{私} \leq バツ} {バツ}_{私} \overset{イイド}{〜} F （ バツ ） 、

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$

E_{{\hat{F}}_{n}} [バツ] = \frac{1}{n} \sum_{私 = 1}^{n} {バツ}_{私} = {\bar{バツ}}_{n}

$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$

E_{{\hat{F}}_{n}} [X]

$\mathbb{E}_{\hat{F}_n}[X]$

{\bar{X}}_{n}

$\bar{X}_ n$

— 西安
ソース

+1これはもともと私が書きたかった答えですが、読者によっては不透明すぎるかもしれないと恐れていました。それにもかかわらず、私はそれがとてもエレガントに提示されるのを見てうれしいです。ただし、最後の文であなたが何を意味するのかわかりません。シミュレートされた近似の「期待値」をその「限界」から平均値と区別するように見えます。）、実際に取る制限はありません。

— whuber

@whuber：コメントをありがとうございます。あなたの答えを正確に書いてすみません。あなたの説明は、ブートストラップの初心者にとって確かに読みやすいです。最終文を修正しましたが、その制限部分は多数の法則です。

— 西安

その最後の文での「平均」の使用は非常にあいまいです！あなたのLLNの手がかりからそれを理解しました。ブートストラップ分布の有限シミュレーションでは、シミュレーションの各サンプルが独自の平均を生成します（「平均」の意味が1つあります）。特定のシミュレーションにおけるこれらすべてのサンプルの平均は、シミュレーション平均を生成します（別の意味があります）。シミュレーション平均は、ブートストラップ平均（3番目の意味）であるシミュレーションサイズが大きくなるにつれて定数に収束し、これはサンプル平均（4番目の意味）に等しくなります。（そして、これは母平均を推定します -5番目の意味です！）

— whuber