ブートストラップが機能する理由を素人に説明する

最近、ブートストラップを使用して、プロジェクトの信頼区間を推定しました。統計についてあまり知らない人が最近、ブートストラップが機能する理由、つまり、同じサンプルを何度もリサンプリングすると良い結果が得られる理由を説明するように頼まれました。使い方を理解するのに多くの時間を費やしましたが、ブートストラップが機能する理由を本当に理解していないことに気付きました。

具体的には、サンプルからリサンプリングしている場合、サンプルだけでなく母集団について何かを学んでいるというのはどうですか？そこには、直観に反する飛躍があるようです。

ここで、この質問に対するいくつかの答えを見つけました。特にこれ。私は統計の「消費者」であり、統計学者ではありません。私は統計よりも統計についてあまり知らない人々と仕事をしています。だから、誰かが、最小限の定理などへの言及で、ブートストラップの背後にある基本的な理由を説明できますか？つまり、隣人に説明しなければならないとしたら、何と言いますか？

私が通常与える中程度の長さのバージョンは次のようになります：

人口について質問したいのですが、できません。そこで、サンプルを取り、代わりに質問をします。さて、サンプルの回答が母集団の回答に近いという確信は、母集団の構造に明らかに依存します。これについて学習できる方法の1つは、母集団からサンプルを何度も取得して質問し、サンプルの回答がどのように変動する傾向があるかを確認することです。これは不可能であるため、母集団の形状について何らかの推測を行うか、実際に学習する必要があるサンプルの情報を使用できます。

たとえば、それがNormal、Bernoulli、またはその他の便利なフィクションであると仮定することを決めたとします。前の戦略に従って、あなたが持っているものと同じサイズのサンプルを繰り返し生成し、同じ質問をすることで、たまたまどの特定のサンプルを取得したかによって、サンプルを尋ねられたときの質問への答えがどれくらい変化するかについて学ぶことができます質問。これは、計算上便利な仮定を選択した範囲で簡単です。（実際に特に便利な仮定と非自明な数学により、サンプリング部分を完全にバイパスすることができますが、ここでは意図的に無視します。）

前提条件を満たせば、これは良いアイデアのように思えます。あなたがそうではないと想像してください。別の方法は、代わりにあなたが持っているサンプルを取り、そこからサンプルを取ることです。これができるのは、あなたが持っているサンプルも母集団であり、非常に小さな離散的なものだからです。データのヒストグラムのように見えます。「置換」によるサンプリングは、サンプルを母集団のように扱い、その形状を反映する方法でサンプルからサンプリングするための便利な方法です。

これは合理的なあなたは最高の、実際に持っていたサンプルではないという理由だけで行うためのものだけ人口が実際にどのように見えるかについて、あなたが持っている情報は、だけでなく、彼らはランダムに選ばれている場合、ほとんどのサンプルは、かなりのようになりますので、彼らが来た人口。その結果、あなたもそうする可能性があります。

直観的には、さまざまな方法で、さまざまな前提で生成されたサンプリング情報を集約することで、変動性について学習する方法を考えることが重要です。これについて明確にするためには、閉じた形式の数学的解の可能性を完全に無視することが重要です。

@ConjugatePriorに+1を付けて、彼の答えに暗示されている1つのポイントを引き出したいだけです。質問は、「サンプルからリサンプリングしている場合、サンプルについてだけでなく、母集団について何かを学んでいるのはどうですか？」と尋ねます。人口分布の推定値を提供するためにリサンプリングは行われません。サンプル自体を人口のモデルとして採用します。むしろ、問題のサンプル統計のサンプリング分布の推定値を提供するために、リサンプリングが行われます。

これはおそらく、いくつかの統計と数学（少なくとも計算）を理解している人を対象とした、より技術的な説明です。しばらく前に教えた調査ブートストラップのコースからのスライドは次のとおりです。

もちろん、いくつかの説明が必要です。は、既存のデータから統計を取得する手順です（技術的に正確には、分布関数から実数への関数です。たとえば、平均は。ここで、サンプル分布関数場合、はサンプル点の点質量として理解されます）。で示される母集団では、を適用すると、関心のあるパラメーターが得られます。ここで、サンプル（上部の最初の矢印）を取得し、経験的分布関数を取得しましたを適用して推定値を取得します$T$$E[X]=\int x {\rm d}F$$F_n()$${\rm d}F$$F()$$T$$\theta$$F_n()$$T$$\hat\theta_n$。からどれくらい離れているのでしょうか？ランダム量が周りに持つ可能性のある分布は何ですか？これは、図の左下にある疑問符です。これは、ブートストラップが答えようとする質問です。gungの要点を言い換えると、これは人口に関する問題ではなく、特定の統計とその分布に関する問題です。$\theta$$\hat\theta_n$$\theta$

サンプリング手順を繰り返すことができれば、その分布を取得して詳細を知ることができます。まあ、それは通常私たちの能力を超えています。ただし、

1. $F_n$は、適切な意味でに十分に近く、かつ$F$
2. マッピングは十分に滑らかです。つまり、から小さな偏差を取得すると、結果はに近い数値にマッピングされます。$T$$F()$$\theta$

ブートストラップ手順が機能することを期待できます。つまり、分布がではなくであると、それによりすべての可能なサンプルを楽しませることができます-そしてようなサンプルが存在します。これはのみ実用的です。私はもう一度繰り返してみましょう：ブートストラップの標本分布の作成に取り組んでいます「真」のパラメータの周り、我々は2つの以上の条件で、このサンプリング分布は標本分布について有益であることを願っています周りの：$F_n()$$F()$$n^n$$n\le 5$$\hat\theta_n^*$$\hat\theta_n$$\hat\theta_n$$\theta$

さて、だけではなく、矢印に沿って一方向に行くと、これらの矢印に沿っていくつかの情報/精度を失う、我々は戻っての変動について何か言うことができる周り。θ$\hat\theta_n^*$$\hat\theta_n$

上記の条件は、Hall's（1991）の書籍で最大限の専門性を示しています。このスライドを見つめるための前提条件として私が言った計算の理解は、滑らかさに関する2番目の仮定です。より形式的な言語では、関数は弱い導関数を持たなければなりません。最初の条件は、もちろん、漸近的なステートメントです。サンプルが大きいほど、は近くなります。以下とからの距離するからのものと同程度の大きさでなければなりませんへの。これらの条件は壊れる可能性があり、それらは壊れますF N F θ * nはθ nはθ nは θ $T$$F_n$$F$$\hat\theta_n^*$$\hat \theta_n$$\hat\theta_n$$\theta$に十分近い経験的分布を生成しない、十分に奇妙な統計および/またはサンプリングスキームを使用する多くの実際的な状況で。$F$

さて、その1000個のサンプル、またはマジックナンバーはどこから来るのでしょうか？すべてのサンプルを描画できないため、これらのランダムなサブセットを取得します。右端の「シミュレーション」矢印は、の分布を取得する途中で作成している別の近似を示しています。つまり、モンテカルロがは、周りのの完全なブートストラップ分布の十分な近似です。θ nは θ θ （* R ）のn θ * のn θ$n^n$$\hat\theta_n$$\theta$$\hat\theta_n^{(*r)}$$\hat\theta_n^*$$\hat\theta_n$

これは難しいことであり、多くの誤解があることに同意するからです。エフロンとディアコニスは、1983年のサイエンティフィック・アメリカンの記事でそれを試みましたが、私の意見では失敗しました。現在、良い仕事をするブートストラップに捧げられたいくつかの本があります。EfronとTibshiraniは1986年のStatistics Scienceの記事で素晴らしい仕事をしています。ブートストラップメソッドの本でブートストラップを開業医がアクセスできるようにすることを特に一生懸命しました。 。ティム・ヘスターバーグは、デビッド・ムーアの入門統計書の1つに素晴らしい補足章を書きました。故クリフォード・ルネボルグには素晴らしい本がありました。千原とヘスターバーグは最近、ブートストラップと他のリサンプリング方法をカバーする中間レベルの数学的統計の本を発表しました。Lahiri'sやShao and Tu'sのような高度な本でさえ、概念的な説明ができます。Manlyは順列とブートストラップを扱った彼の本でうまくやっています。ブートストラップについてもう困惑する理由はありません。ブートストラップは、ブートストラップの原理に依存することに留意することが重要です。「置換によるサンプリングは、元のサンプルが母集団で動作するように、元のサンプルで動作します。この原理が失敗する例があります。すべての統計問題に対する答えではありません。s概念的な説明が適切に行われている。Manlyは順列とブートストラップを扱った彼の本でうまくやっています。ブートストラップについてもう困惑する理由はありません。ブートストラップは、ブートストラップの原理に依存することに留意することが重要です。「置換によるサンプリングは、元のサンプルが母集団で動作するように、元のサンプルで動作します。この原理が失敗する例があります。すべての統計問題に対する答えではありません。s概念的な説明が適切に行われている。Manlyは順列とブートストラップを扱った彼の本でうまくやっています。ブートストラップについてもう困惑する理由はありません。ブートストラップは、ブートストラップの原理に依存することに留意することが重要です。「置換によるサンプリングは、元のサンプルが母集団で動作するように、元のサンプルで動作します。この原理が失敗する例があります。すべての統計問題に対する答えではありません。置換を使用したサンプリングは、元のサンプルが母集団で動作するように、元のサンプルで動作します。この原則が失敗する例があります。ブートストラップがすべての統計問題の答えではないことを知っておくことが重要です。置換を使用したサンプリングは、元のサンプルが母集団で動作するように、元のサンプルで動作します。この原則が失敗する例があります。ブートストラップがすべての統計問題の答えではないことを知っておくことが重要です。

ここに、私が言及したすべての書籍へのAmazonリンクがあります。

リサンプリングとRを使用した数学的統計

ブートストラップメソッドとそのアプリケーション

ブートストラップ方法：実践者と研究者のためのガイド

Rへのアプリケーションを使用したブートストラップメソッドの概要

依存データのリサンプリング方法

生物学におけるランダム化、ブートストラップおよびモンテカルロ法

ブートストラップの紹介

ビジネス統計コンパニオンの実践第18章：ブートストラップメソッドと置換テスト

リサンプリングによるデータ分析：概念と応用

ジャックナイフ、ブートストラップ、およびその他の再サンプリング計画

ジャックナイフとブートストラップ

仮説の順列検定、パラメトリック検定、およびブートストラップ検定

ブートストラップとEdgeworth拡張

ブートストラップを介して、同じデータグループ（サンプルデータ）からサンプルを何度も繰り返し取得し、母集団全体（実際の状況）の推定値がどれだけ正確かを推定します。

1つのサンプルを取得して実際の母集団の推定値を作成した場合、推定値の正確さを推定できない場合があります-推定値は1つしかなく、遭遇したさまざまなサンプルでこの推定値がどのように変化するかを特定していません。

ブートストラップでは、このメインサンプルを使用して複数のサンプルを生成します。たとえば、1000日間にわたって毎日利益を測定した場合、このセットからランダムなサンプルを取得できます。「新しい」を取得するまで、ランダムな1日からの利益を記録し、別のランダムな1日から利益を得て（以前と同じ日になる可能性があります-交換によるサンプリング）、記録します。 1000日のサンプル（元のサンプルから）。

この「新しい」サンプルは元のサンプルと同一ではありません-実際、上記のようにいくつかの「新しい」サンプルを生成する場合があります。平均値と推定値の変動を見ると、元の推定値がどれほど正確であったかを読み取ることができます。

編集-コメントへの応答

「新しい」サンプルは最初のサンプルと同一ではなく、これらに基づく新しい推定値は異なります。これは、母集団の繰り返しサンプルをシミュレートします。ブートストラップによって生成された「新しい」サンプルの推定値の変動は、母集団からの異なるサンプルが与えられた場合にサンプル推定値がどのように変化するかを明らかにします。実際、これは元の推定値の精度を測定しようとする方法です。

もちろん、ブートストラップの代わりに、母集団からいくつかの新しいサンプルを取得するかもしれませんが、これは実行不可能な場合があります。

私はこれが受け入れられた答えのある古い質問であることを理解していますが、ブートストラップ方法の私の見解を提供したいと思います。私は決して専門家（OPとしての統計ユーザー）ではありません。訂正やコメントを歓迎します。

私はブートストラップをジャックナイフ法の一般化として見るのが好きです。したがって、サイズ100のサンプルSがあり、統計T（S）を使用していくつかのパラメーターを推定するとします。ここで、このポイント推定の信頼区間を知りたいと思います。標準誤差のモデルと分析式がない場合は、サンプルから1つの要素を削除し、要素iが削除されたサブサンプルを作成します。これで、を計算して、標準誤差を計算して信頼区間を作成できるパラメーターの新しい推定値を100個取得できます。これはジャックナイフ法JK-1です。 T （S i$S_i$$T(S_i)$

代わりにサイズ98のすべてのサブセットを検討し、JK-2（2つの要素を削除）またはJK-3などを取得できます。

現在、ブートストラップはこのランダム化バージョンです。置換による選択を介してリサンプリングを行うことにより、ランダムな数の要素を削除し（おそらくなし）、1つ（またはそれ以上）の複製でそれらを「置換」します。

レプリケートで置き換えることにより、リサンプリングされたデータセットは常に同じサイズになります。ジャックナイフの場合、サイズ100の代わりにサイズ99のサンプルに対するジャックナイフの効果を尋ねることができますが、サンプルサイズが「十分に大きい」場合、これはおそらく問題ではありません。

ジャックナイフでは、delete-1とdelete-2などを混在させないでください。これにより、ジャッキングされた推定値が同じサイズのサンプルからのものであることを確認できます。

サイズ100のサンプルを、たとえばサイズ10の10個のサンプルに分割することも考えられます。これにより、理論的にはよりクリーン（独立したサブセット）になりますが、サンプルサイズを（100ケース）。

特定のサイズの部分的に重複するサブセットも検討できます。これらはすべて、ブートストラップ方式により、自動的かつ統一されたランダムな方法で処理されます。

さらに、ブートストラップ法では、元のサンプルの経験的分布から統計のサンプリング分布の推定値が得られるため、標準誤差以外の統計のさらなる特性を分析できます。

言い換えフォックスは、私が何度あなたの観察試料からのリサンプリングのプロセスは、全体の集団から元のサンプリングの過程を模倣することが示されていることを言って開始します。

母集団の有限サンプリングは、ヒストグラムが近似するのと同じ方法で分布を近似します。再サンプリングにより、各ビンのカウントが変更され、新しい近似値が得られます。大きいカウント値は、元の母集団とサンプリングされたセットの両方で、小さいカウント値よりも小さく変動しません。これを素人に説明しているので、大きなビン数の場合、これはどちらの場合もおおよそビン数の平方根であると主張できます。

サンプルから赤毛と赤毛が見つかった場合、再サンプリングは赤毛の変動をとして推定し。これは、元の母集団が本当に配布しました。したがって、サンプリングされたものとして真の確率を近似すると、この値の「周辺」のサンプリング誤差の推定値を取得できます。80 100 $20$$80$$100$ 1：$\sqrt{(0.2 \times 0.8) \times 100}$$1:4$

ブートストラップは「新しい」データを発見しないことを強調することが重要だと思います 。真の確率がサンプリングされたものによって与えられた場合、サンプル間の変動を近似的に決定する便利でノンパラメトリックな方法です。

古典的な推論統計では、母集団の適切な推定量として標本を母集団に接続する理論上のエンティティは、標本分布（母集団から抽出される可能性のあるすべての標本）であることに注意してください。ブートストラップ法は、一種のサンプリング分布（複数のサンプルに基づく分布）を作成しています。確かに、これは最尤法ですが、基本的なロジックは、従来の正規分布ベースの統計の背後にある伝統的な確率理論とそれほど変わりません。

私のポイントは非常に小さなものです。

Bootstrapは、研究課題の主要な前提を計算的に集中的に活用するため、機能します。

より具体的には、統計学や生物学、またはほとんどの非理論科学で、個人を研究し、サンプルを収集します。

しかし、そのようなサンプルから、将来または異なるサンプルで私たちに提示し、他の個人に推論をしたいです。

ブートストラップを使用すると、サンプルの個々のコンポーネントでモデリングを明示的に確立することで、他の個人の推測と予測を改善することができます（通常はより少ない仮定で）。

初心者に説明するとき、特定の例を取り上げると役立つと思います...

一部の母集団から9つの測定値のランダムサンプルを取得したとします。サンプルの平均は60です。母集団全体の平均も60であることを確認できますか？明らかに小さなサンプルが異なるためではないため、60の推定値は不正確になる可能性があります。このようなサンプルがどれだけ変化するかを調べるために、ブートストラップと呼ばれる方法を使用していくつかの実験を実行できます。

サンプルの最初の数は74で、2番目は65なので、9分の1の74、1分の9の65などで構成される大きな「ふり」集団を想像してみましょう。この母集団からランダムサンプルを取得する最も簡単な方法は、9個のサンプルからランダムに数を取得し、それを元の9個のサンプルが再び得られるように置き換えて、ランダムに別のサンプルを選択することです。 9の「リサンプル」。これを行うと、74はまったく表示されませんでしたが、他の数字の一部は2回表示され、平均は54.4でした。（これは、http： //woodm.myweb.port.ac.uk/SL/resample.xlsxのスプレッドシートで設定されます -画面の下部にあるブートストラップタブをクリックします。）

このように1000個のリサンプルを行ったとき、それらの平均は44から80の間で変化し、95％が48から72の間でした。これは、最大16-20ユニットの誤差があることを示しています人口平均を推定するためにサイズ9のサンプルを使用する場合、80は上記の20単位です）。そして、エラーが12以下になることを95％確信できること。したがって、人口の平均は48〜72の間にあると確信できます。

ここには多くの仮定がありますが、明らかなのは、サンプルが人口の有用な写真を提供するという仮定です-経験は、サンプルが適度に大きい場合（9は少し小さいですが、何が起こっているかをご覧ください）。http://woodm.myweb.port.ac.uk/SL/resample.xlsxのスプレッドシートを使用すると、個々のリサンプルを確認したり、1000個のリサンプルのヒストグラムをプロットしたり、より大きなサンプルで実験したりすることができます。記事には、より詳細な説明がありますで https://arxiv.org/abs/1803.06214。