ブートストラップとベイジアンブートストラップの概念は？

ベイジアンブートストラッププロセスとは何か、それが通常のブートストラップとどのように異なるかを理解するのに苦労しています。誰かが両方の直感的/概念的なレビューと比較を提供できれば、それは素晴らしいことです。

例を見てみましょう。

[1,2,5,7,3]であるデータセットXがあるとします。

置換で複数回サンプリングして、Xのサイズに等しいサンプルサイズ（[7,7,2,5,7]、[3,5,2,2,7]など）を作成し、その後、それぞれの平均を計算し、サンプルのブートストラップ分布は平均ですか？

そのベイジアンブートストラップ分布は何でしょうか？

そして、他のパラメーター（分散など）のベイジアンブートストラップ分布は同じ方法でどのように行われますか？

bayesian sampling bootstrap

— SpicyClubSauce
ソース

sumsar.net/blog/2015/04/…およびprojecteuclid.org/euclid.aos/1176345338を参照してください。多分@rasmus-bååthが答えてくれるかもしれません;）

— ティム

（フリークエンシスト）ブートストラップは、データを未知の母集団分布の合理的な近似として取得します。したがって、統計のサンプリング分布（データの関数）は、置換を使用して観測値を繰り返しリサンプリングし、各サンプルごとに統計を計算することで近似できます。

ましょう元のデータを示します。（与えられた例では、。）がブートストラップのサンプルを示すとします。このようなサンプルでは、いくつかの観測が1回以上繰り返される可能性が高く、他の観測はありません。ブートストラップサンプルの平均は、与えられの分布です $y = (y_1,\ldots,y_n)$ $n=5$ $y^b = (y_1^b, \ldots, y_n^b)$

m_{b} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}^{b} .

$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$

m_{b}

$m_b$ 未知の母集団からのサンプリング分布を近似するために使用される多くのブートストラップ複製にわたって。

頻度の高いブートストラップとベイジアンブートストラップの関係を理解するには、を別の観点から計算する方法を見ることはです。 $m_b$

各ブートストラップサンプル中の、各観測どこでも0から発生する倍。ましょ回数表しで発生、とlet 。したがってと $y^b$ $y_i$ $n$ $h_i^b$ $y_i$ $y^b$ $h^b = (h_1^b, \ldots, h_n^b)$ $h_i^b \in \{0, 1, \ldots, n-1,n\}$ 。与えられると、合計が1になる非負の重みのコレクションを構築できます。ここでです。この表記法を使用すると、ブートストラップサンプルの平均をとして再表現できます。 $\sum_{i=1}^n h_i^b = n$ $h^b$ $w^b = h^b/n$ $w_i^b = h_i^b/n$

m_{b} = \sum_{i = 1}^{n} w_{i}^{b} y_{i} .

$m_b = \sum_{i=1}^n w_i^b\, y_i.$

ブートストラップサンプルの観測値の選択方法によって、結合分布が決まります。特に、 $w^b$ $h^b$ には多項分布があるため、したがって、分布からを描画し、次の式で内積を計算することにより、を計算できます。

（ n w^{b} ） 〜 多項 （ n 、 （ 1 / n ）_{私 = 1}^{n} ） 。

$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$

m_{b}

$m_b$

w^{b}

$w^b$

ます。この新しい観点からは、重みが変化している間、観測は固定されているように見えます。

y

$y$

ベイジアン推論では、観測は確かに固定されているとみなされるため、この新しい視点はベイジアンアプローチと相性が良いようです。実際、ベイジアンブートストラップによる平均の計算は、重みの分布のみが異なります。（それにもかかわらず、概念的な観点からは、ベイジアンブートストラップは頻繁なバージョンとはまったく異なります。）データは固定され、重みは未知のパラメーターです。未知のパラメーターに依存するデータの機能に興味があるかもしれません： $y$ $w$

μ = \sum_{私 = 1}^{n} w_{私} y_{私} 。

$\mu = \sum_{i=1}^n w_i\, y_i.$

次に、ベイジアンブートストラップの背後にあるモデルのサムネイルスケッチを示します。観測のサンプリング分布は多項分布であり、重みの事前分布はシンプレックスの頂点にすべての重みを置く制限ディリクレ分布です。（一部の著者は、このモデルを多項尤度モデルと呼んでいます。）

このモデルは、重みのために、次の事後分布を生成します：（この分布はシンプレックス上で平坦です。）重みの2つの分布（度数分布とベイジアン）は非常に似ています。平均と共分散が同じです。ディリクレ分布は多項分布よりも「滑らか」であるため、ベイジアンブートストラップは平滑化ブートストラップと呼ばれる場合があります。頻度の高いブートストラップは、ベイジアンブートストラップの近似として解釈できます。

w \sim Dirichlet (1, \dots, 1) .

$w \sim \textsf{Dirichlet}(1,\ldots,1).$

重みの事後分布が与えられた場合、ディリクレ分布からを繰り返しサンプリングし、内積を計算することにより、関数事後分布を近似できます。 $\mu$ $w$ $y$

方程式 を推定するフレームワークを採用できます。

\sum_{i = 1}^{n} w_{i} g (y_{i}, θ) = \underline{0},

$\sum_{i=1}^n w_i\, g(y_i,\theta) = \underline 0,$

g (y_{i}, θ)

$g(y_i,\theta)$

θ

$\theta$

\underline{0}

$\underline 0$

θ

$\theta$

y

$y$

w

$w$

w

$w$ 経験的尤度および一般化モーメント法（GMM）を使用）

\sum_{i = 1}^{n} w_{i} (y_{i} - μ) = 0.

$\sum_{i=1}^n w_i\,(y_i - \mu) = 0.$

θ = (μ, v)

$\theta = (\mu,v)$

g (y_{i}, θ) = (\begin{matrix} y_{i} - μ \\ (y_{i} - μ)^{2} - v \end{matrix}) .

$g(y_i,\theta) = \begin{pmatrix} y_i - \mu \\ (y_i - \mu)^2 - v \end{pmatrix}.$

— メフ
ソース

非常に詳細な説明をありがとう。個人的には、それぞれをいつ選択するかについての簡単な説明をいただければ幸いです。

— ErichBSchulz