共分散のガウスの混合物のためのEMアルゴリズムの限界ケースとしてK-手段に行く

私の目標は、K平均アルゴリズムが実際にガウス混合の期待値最大化アルゴリズムであり、すべての成分がの範囲の共分散を確認することです。 $\sigma^2 I$ $\lim_{\sigma \to 0}$

確率変数観測のデータセット $\{x_1, \dots ,x_N\}$ があるとします。 M平均の目的関数は、で。は、クラスターへのハード割り当てのバイナリインジケーター変数です。（データポイントがクラスターに割り当てられている場合、 kに対しておよび）。 K平均アルゴリズムは、収束するまで反復によってを最小化します。これには、2つの連続するステップが含まれます。（E）最小化 $X$

J = \sum_{n = 1}^{N} \sum_{k = 1}^{K} r_{n k} | | x_{n} - μ_{k} | |^{2}

$J = \sum_{n=1}^{N}\sum_{k=1}^{K} r_{nk} ||x_n - \mu_k ||^2$

r_{n k}

$r_{nk}$

x_{n}

$x_n$

k

$k$

x_{n}

$x_n$

k

$k$

r_{n k} = 1

$r_{nk} = 1$

r_{n j} = 0

$r_{nj} = 0$

j \neq

$j \ne$

J

$J$

J

$J$ に対して

{r_{n k}}_{n, k}

$\{r_{nk}\}_{n,k}$ のすべてを維持

μ_{k}

$\mu_k$ 固定
最小（M）を

J

$J$ に対して、

{μ_{k}}_{k}

$\{\mu_k\}_k$ 全て維持

r_{n k}

$r_{nk}$ 固定

一般に、すべての観測データを $X$ 、すべての潜在変数を $Z$ 、すべてのモデルパラメーターのセットをで表す $\theta$ と、EMアルゴリズムは2つの交互のステップの収束まで反復により事後分布 $p(\theta | X)$ を最大化します：
（E ）期待値を計算する $Q(\theta, \theta^{\text{old}}) := \sum_{Z}p(Z | X, \theta^{\text{old}})\log p(Z,X|\theta)$
（M）検索 $\theta^{\text{new}} = \arg \max_{\theta} Q(\theta, \theta^{\text{old}})$

次に、ガウス混合分布を考えます潜在的な次元のバイナリ確率変数を、次のことがわかります：したがって

p (x) = \sum_{k = 1}^{K} π_{k} N (x | μ_{k}, Σ_{k})

$p(x) = \sum_{k=1}^K \pi_k N(x | \mu_k, \Sigma_k)$

K

$K$

z

$z$

p (z_{k} = 1) = π_{k}

$p(z_k = 1) = \pi_k$

p (X, Z) = \prod_{n = 1}^{N} \prod_{k = 1}^{K} π_{k}^{z_{n k}} N (x_{n} | μ_{k}, Σ_{k})^{z_{n k}}

$p(X, Z) = \prod_{n=1}^N\prod_{k=1}^K \pi_k^{z_{nk}} N(x_n | \mu_k, \Sigma_k)^{z_{nk}}$

γ (z_{k}) := p (z_{k} = 1 | x) = \frac{π_{k} N (x | μ_{k}, Σ_{k})}{\sum_{j = 1}^{K} π_{j} N (x | μ_{j}, Σ_{j})}

$\gamma(z_k) := p(z_k = 1 | x) = \frac{\pi_k N(x| \mu_k, \Sigma_k)}{\sum_{j=1}^{K} \pi_j N(x | \mu_j, \Sigma_j)}$

\log p (X, Z | μ, Σ, π) = \sum_{n = 1}^{N} \sum_{k = 1}^{K} z_{n k} (\log π_{k} + \log N (x_{n} | μ_{k}, Σ_{k}))

$\log p(X,Z | \mu, \Sigma, \pi) = \sum_{n=1}^N \sum_{k=1}^K z_{nk}(\log \pi_k + \log N(x_n| \mu_k, \Sigma_k))$

E (z_{n k}) = γ (z_{n k})

$\mathbb{E}(z_{nk}) = \gamma(z_{nk})$

Q ((π, μ, Σ), (π, μ, Σ)^{old}) = \sum_{n = 1}^{N} \sum_{k = 1}^{K} γ (z_{n k}) (\log π_{k} + \log N (x_{n} | μ_{k}, Σ_{k}))

$Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}}) = \sum_{n=1}^N \sum_{k=1}^K \gamma(z_{nk})(\log \pi_k + \log N(x_n| \mu_k, \Sigma_k))$

混合モデル内のすべてのガウス分布が共分散持っている場合、極限を考慮すると、であることがここで、は上記で定義。したがって、実際には（E）ステップは、K平均アルゴリズムと同様にを更新します。 $\sigma^2 I$ $\sigma \to 0$ $\gamma(z_{nk}) \to r_{nk}$ $r_{nk}$ $r_{nk}$

しかし、私はこのコンテキストでを最大化することに問題があり。いくつかの定数およびスカラー乗算まで、それは本当ですか：？ $Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}})$ $x \ne \mu$ $\lim_{\sigma \to 0} log(N(x|\mu,\sigma^2)) = - \infty$
$\lim_{\sigma \to 0} Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}}) = -J$

多分私は何かが欠けています。何かアドバイス？

— アンジェイ・ノイゲバウアー
ソース

@Andrzejのサイトへようこそ。質問全体を投稿してください。他の人があなたの本を探しに行くと言ってはいけません。

— StasK 2014年

親愛なるStasK様、私は質問全体を投稿しました。

— Andrzej Neugebauer 2014年

いくつかの定数およびスカラー倍まで：？ $\lim_{\sigma \to 0} Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}}) = -J$

これは、あなたが観察したように、限界が分かれているため、そうではありません。

ただし、最初にを変換し、その後、極限をとる場合、k平均の目的に収束します。と我々は持っています $Q$ $\Sigma_k = \sigma^2 I$ $\pi_k = 1/K$

\begin{aligned} Q & = \sum_{n, k} γ_{n k} (\log π_{k} + \log N (x_{n} ∣ μ_{k}, Σ_{k})) \\ = N \log \frac{1}{K} - \frac{1}{σ^{2}} \sum_{n, k} γ_{n k} | | x_{n} - μ_{k} | |^{2} - N \frac{D}{2} \log 2 π σ^{2} . \end{aligned}

$\begin{align} Q &= \sum_{n,k} \gamma_{nk} \left( \log \pi_k + \log N(x_n \mid \mu_k, \Sigma_k) \right) \\ &= N \log\frac{1}{K} - \frac{1}{\sigma^2} \sum_{n,k} \gamma_{nk} ||x_n - \mu_k||^2 - N \frac{D}{2} \log 2\pi\sigma^2. \end{align}$

乗じる（EMアルゴリズムに影響を及ぼさない、ため最適化が、一定ではない）およびすべての定数項収集、我々は参照に対してこの関数を最大化することに注意任意ためおよび同じを与えます上記の目的関数としての結果、つまり、Mステップの同等の定式化です。ただし、制限を適用するとます。 $\sigma^2$ $\sigma$ $C$

\begin{aligned} Q & \propto - \sum_{n, k} γ_{n k} | | x_{n} - μ_{k} | |^{2} + σ^{2} C . \end{aligned}

$\begin{align} Q &\propto - \sum_{n,k} \gamma_{nk} ||x_n - \mu_k||^2 + \sigma^2 C. \end{align}$

μ

$\mu$

γ

$\gamma$

σ

$\sigma$

- J

$-J$

余談ですが、私の考えでは、EMのもう少しエレガントな定式化は、目的関数この目的関数を使用すると、EMアルゴリズムは交互になります（Mステップ）と（E ステップ）に関する最適化の間。限界を取ると、MステップとEステップの両方がk平均アルゴリズムに収束することがわかります。

\begin{aligned} F (μ, γ) & = \sum_{n, k} γ_{n k} \log π_{k} N (x_{n} ∣ μ_{k}, Σ_{k}) / γ_{n k} \\ \propto - \sum_{n, k} \sum_{n, k} γ_{n k} | | x_{n} - μ_{k} | |^{2} - σ^{2} \sum_{n, k} γ_{n k} \log γ_{n k} + σ^{2} C . \end{aligned}

$\begin{align} F(\mu, \gamma) &= \sum_{n,k} \gamma_{nk} \log \pi_k N(x_n \mid \mu_k, \Sigma_k)/\gamma_{nk} \\ &\propto -\sum_{n,k} \sum_{n, k} \gamma_{nk} ||x_n - \mu_k||^2 - \sigma^2 \sum_{n,k} \gamma_{nk} \log \gamma_{nk} + \sigma^2 C. \end{align}$

F

$F$

μ

$\mu$

γ

$\gamma$

EMの別のビューも参照してください。

— ルーカス
ソース