正規分布の有限混合からサンプルを引きますか？

Pr (θ | data) = \sum_{i = 1}^{k} w_{i} N (μ_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$

θ

$\theta$

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$

i

$i$

i

$i$

{w_{i}}

$\{w_i\}$

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ 。このフォームの後方からサンプルを描画する効率的な方法はありますか？

monte-carlo probability

— クリス・グラネード
ソース

実際にselect then throwメソッドを試しましたか？選択は、O（k）ステップのかなり早い段階で行うことができます。

— dmckee ---元モデレーターの子猫2012

バロンの解が本当に正しくなく、実際に「混合モデル」を意味している場合、その用語を使用していただけませんか？

— Neil G

Neil G：私は貿易統計学者ではなく、統計学を利用する必要がある物理学者です。そのため、必要なものを説明する適切な用語がわかりませんでした。次に、質問を編集して、RVではなくPDFが合計されていることをより明確にすることができます。

— Chris

@ChrisGranade：私はあなたに降りてくるつもりはありませんでした。私はそれがあなたの意味することを確認し、編集を提案したかっただけです。

— Neil G

重みと一様分布からのサンプルに基づいてを選択し、次にサンプリングすることが実際的でないのはなぜですか？これは、単一の正規分布をサンプリングするよりもやや高価ですが、コストは混合分布数に依存せず、それらの分布が正規であることには依存しません。

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

— Jed Brown

回答:

原則として、各サブ分布から抽出するサンプルの数を事前に選択し、各サブ分布を1回だけ訪問して、ポイント数よりも多くを抽出することができます。

あれは

ランダムなセットを見つけるようにと重みを尊重。 $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

これは~~、ポアソン分布~~を各部分分布の平均多項分布（コメントを参照）で~~描画し、~~その合計を正規化することで実現すると思います。 $w_i * n$ $n$

ここでの作業は $\mathcal{O}(k) * \mathcal{O}(n)$

それから

for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])

ここでの作業は $\mathcal{O}(n)$

ただし、これはをランダムな順序で取得しないことを意味します。ランダムな順序が必要な場合は、ドローをシャッフルする必要があります（これも大きな）。 $\mathcal{O}(n)$

実行時に最初のステップが優勢であり、ナイーブアルゴリズムと同じ順序であるように見えますが、すべてのが正規分布であると確信できる場合は、ポアソン分布を正規分布で近似し、最初のステップを高速化できます。 $w_i * n \gg 1$

— dmckee ---元モデレーターの子猫
ソース

が固定されている場合、の分布はポアソン分布ではなく、二項分布です。

n_{i}

$n_i$

n

$n$

— フレデリック・Grosshans

@FrédéricGrosshansUhm ...ここで私は確率で私の悲惨な弱点を認めています。あなたが正しいかもしれないと思います。任意の二項分布をスローするためのリンクはありませんが、ウィキペディアにはいくつかの参照があります。ポアソンと二項分布の間にも関係があり、これが私の不確実性の原因であると私が主張するつもりです。ええ、それはチケットです。

— dmckee ---元モデレーターの子猫2012

@dmckee：ステップ1のポアソン分布ではなく多項分布である必要があることを除いて、混合モデルから描画するための良い回答

— Neil G

注：この質問の元のバージョンは、「正規分布の加重和」について尋ねましたが、これには次の回答が役立つ場合があります。ただし、この回答、@ Geoffの回答、および質問自体について十分に議論した後、この回答が適用されない「正規分布の混合」のサンプリングに関する質問であることが明らかになりました。

正規分布の合計は正規分布であるため、この単一の分布のパラメーターを計算し、そこからサンプルを簡単に抽出できます。その分布をと呼ぶと、 $N(\mu_{sum},\sigma_{sum}^2)$

μ_{s u m} = \sum_{i = 1}^{k} w_{i} μ_{i}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{s u m}^{2} = \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

— バロン
ソース

簡潔に言うと、Chrisは確率変数ではなく確率密度関数を合計しています。

— Geoff Oxberry 2012年

Chrisは、（少なくとも原則として）複数のバンプがあるPDFを求めています。つまり、彼はPDFの合計であり、合計のPDFではありませんでした。

— dmckee ---元モデレーターの子猫2012

正規分布確率変数の合計自体が正規分布確率変数であることは事実です。ただし、正規分布の合計は正規分布ではありません。したがって、および場合、それは事実である、しかし。（クレジットは説明のために@ChrisGranadeに行きます。）

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

— Geoff Oxberry '27 / 01/12

@dmckee：これは「正規分布の加重和」ではなく、「正規分布の混合」です。

— Neil G

@Barronのコメントは、ページの重要な部分とは見なされません。回答を必ず編集して、コメントの要点を含め、コメントを見ない読者が誤解されないようにする必要があります。

— David Ketcheson、2012年

更新：この回答は正しくありません。用語の混乱が原因です（詳細については、以下のコメントチェーンを参照してください）。（バロンを除いて）人々がこの回答を再投稿しないように、私はそれを指針として残しているだけです。それを上下に投票しないでください。

ランダム変数のプロパティを使用して、それを単一の正規分布ランダム変数に減らします。2つの独立した正規分布ランダム変数の合計は、それ自体がランダム変数なので、および、次に $X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

また、場合、 $w_{1} \in \mathbb{R}$

w_{1} X_{1} \sim N (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

これら2つの結果を組み合わせて使用すると、

P r (θ | d a t a) \sim N (\sum_{i = 1}^{k} w_{i} μ_{i}, \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

したがって、この場合は、単一の分布からサンプルをプルするだけで済みます。

— ジェフオックスベリー
ソース

これは、元の分布がマルチモーダルであり、提案がユニモーダルであるという事実からわかる別の問題の解決策です。

— Chris Ferrie、2012年

@ChrisFerrie：私はあなたを信じていますが、表記法に基づいて、2つの独立したガウス確率変数の合計がそうではないのに、上記の分布がマルチモーダルになる理由について混乱しています。ここで何が欠けていますか？

— Geoff Oxberry 2012年

混乱は、ランダム変数の合計ではなく、多数のPDFの合計であるPDFを見ていることだと思います。、これらは常に同じとは限りません。代わりに、私たちのPDFはランダム変数を周辺化すると考えることができます。

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

— Chris

ああ、あなたはPDFの合計を見ています。はい、それはまったく別の獣です。質問をもっと詳しく読んだので、あなたの言っていることがわかりました。私は私の応答を削除します。ありがとう！

— Geoff Oxberry 2012年

私は以前に削除した回答を元に戻しましたが、他の人の道標として機能するため、バロンのように誰もこの質問に答えることはできませんでした。私の回答に賛成票または反対票を投じないでください。

— Geoff Oxberry 2012年