サンプルサイズが大きい場合、クラッターの問題はなぜ扱いにくいのですか？

13

ポイントのセットます。各点は、分布を使用して生成されます $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$ 事後を取得するには、と書き期待伝播に関するミンカの論文によれば、事後分布を得るには計算が必要です。

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

であるため、大きなサンプルサイズ

場合、問題は扱いにくいものになります。ただし、単一の

尤度の形式は

であるため、この場合、このような量の計算が必要な理由はわかりません。

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

この式を使用して、単純な乗算により事後を取得します。したがって、演算のみが必要です。 $p(y_i| x)$ $N$

比較する数値実験を行い、各項を個別に計算し、各密度の積を使用する場合に、同じ事後値を実際に取得します。事後も同じです。参照してください私は間違ってどこですか？誰でも、与えられたとサンプル事後を計算するために演算が必要な理由を明確にできますか？ $y_i$ ここに画像の説明を入力してください $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— アレクセイ・ザイツェフ
ソース

1つの用語と

用語ごとに1つの操作なので、

操作が必要です。また、私はミンカの論文とビショップの概算推論に関する章をもう一度調べます。どちらも、推定が必要であり、

事後を取得することを示唆しています。

N

$N$

O (N)

$O(N)$

x

$x$

— アレクセイ・ザイツェフ

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— user603

1

2^{N}

$2^N$ $x$ $2^N$ ます。

1

@Procrastinatorは、信念の伝播を使用したいが、混合を進める必要があるため使用できません。

2^{N}

$2^N$ ガウス。質問は、なぜBPを使用するのかということです。BishopのPRMLの10.7.1章を読んだり、Minkaのビデオレクチャーを視聴したりする場合、別の疑問が生じます。その後、答えはこれほど明確ではありません。

— アレクセイ・ザイツェフ

1

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

回答:

4

$x$ $O(n)$ $x$ $2^N$

— トム・ミンカ
ソース

2

$y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

$c_i$ $i$ $0$ $p(y|x)$ $x$

存在です $2^N$ 問題を引き起こすのは、これらのインジケーター変数可能なジョイント状態。

— デイブ
ソース

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

c

$c$

c_{i}

$c_i$

c_{i}

$c_i$

2^{N}

$2^N$

O (n)

$O(n)$

O (2^{n})

$O(2^n)$

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.