ガウス混合の最適化が直接計算的に難しいのはなぜですか？

18

混合ガウス分布の対数尤度を考慮します。

l (S_{n}; θ) = \sum_{t = 1}^{n} \log f (x^{(t)} | θ) = \sum_{t = 1}^{n} \log {\sum_{i = 1}^{k} p_{i} f (x^{(t)} | μ^{(i)}, σ_{i}^{2})}

$l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\}$

その方程式を直接最大化することが計算上困難なのはなぜだろうか？私は、なぜそれが難しいことを明らかにする必要があるかについての明確で堅実な直観、またはおそらくその難しい理由についてのより厳密な説明を探していました。この問題はNP完全ですか、それとも解決方法がまだわかりませんか？これが、EM（期待値最大化）アルゴリズムを使用することに頼る理由ですか？

表記法：

=トレーニングデータ。 $S_n$

=データポイント。 $x^{(t)}$

=ガウス、それらの平均、標準偏差、および各クラスター/クラス/ガウスからポイントを生成する確率を指定するパラメーターのセット。 $\theta$

=クラスター/クラス/ガウスiからポイントを生成する確率。 $p_i$

machine-learning gaussian-mixture expectation-maximization

— ピノキオ
ソース

14

まず、GMMはクラスタリング用の特定のアルゴリズムであり、観測の最適なラベル付けを見つけようとします。持つの可能なクラスを、それがあることを意味し、あなたのトレーニングデータの可能性のラベリング。これは、中程度の値のおよびに対してすでに巨大になります。 $n$ $k$ $k^n$ $k$ $n$

第二に、最小化しようとしている機能は凸面ではなく、問題の大きさとともに非常に困難です。k-means（GMMはkmeansのソフトバージョンと見なすことができる）がNP困難であることを知っています。しかし、GMMでも同様に証明されたかどうかは知りません。

問題は凸ではないことを確認するために、一次元の場合考える：、あなたがそれを保証することはできませんことを確認

L = \log (e^{- (x / σ_{1})^{2}} + e^{- (x / σ_{2})^{2}})

$L = \log \left(e^{-({x}/{\sigma_{1}})^2} + e^{-({x}/{\sigma_{2}})^2}\right)$

すべてのxに対して

。

\frac{d^{2} L}{d x^{2}} > 0

$\frac{d^2L}{dx^2} > 0$

非凸面の問題があるということは、局所的な最小値で動けなくなることを意味します。一般に、コンベックス最適化の強力な保証はありません。また、ソリューションの検索も非常に困難です。

— jpmuc
ソース

3

2番目の点に関して：k-meansは、GMMの特殊なケース（より正確には、分散がゼロになる限界ケース）と見なすことができます。k-meansをGMMの近似に還元できる場合、後者もNP困難な問題でなければなりません。

— ルーカス14

1

@Lucas：これは発言への相互検証リンクがあります。

— 西安

7

ジュアンパのポイントに加えて、これらの困難を知らせてください：

関数真の最大値であるので、無限でありとに対応する（例えば）及び。したがって、真のマキシマイザーはこのソリューションになりますが、推定には役立ちません。 $l(\theta|S_n)$ $+\infty$ $\hat\mu^{(i)}=x_1$ $\hat\sigma_i=0$
合計の積の分解における項をの積の合計として考慮しなくても、で最大化される関数は高度にマルチモーダルです（非凸であることに加えて）したがって、数値的手法の課題です。EMは、ローカルモードまたはサドルポイントに収束し、複数の実行を必要とすることにより、困難を認識します。に示すように $k^n$ $l(\theta|S_n)$ $\theta$

私の本から取られた。

追加の注釈：EMアルゴリズムを呼び出さずに、標準の最適化アルゴリズム（ニュートンラプソンなど）を一度に1つのパラメーターで使用できます。つまり、繰り返します。

見つけ $\theta_1^\prime=\arg\max_{\theta_1} l(\theta|S_n)$
$\theta_2^\prime=\arg\max_{\theta_2} l(\theta_1^\prime,\theta_{-1}|S_n)$
...
$\theta_v^\prime=\arg\max_{\theta_v} l(\theta_{-v}^\prime,\theta_v|S_n)$

$v$ $l(\theta|S_n)$

— 西安
ソース

OK、分散が0の場合、Lは無制限です。ただし、可能なパラメーターからそれらを除外する場合（したがって、すべての分散> 0と仮定します）、Lは、他の点のために、選択された無限小の分散の場合はそれほど高くありません。私は正しいですか？次に、この可能なパラメータのセットに対して、Lが制限されます。これは、EMアルゴリズムが収束することを意味します（制限されたシーケンスを増やす）。

— ahstat

@ahstat：分散が厳密に正であると仮定しても、EMが十分近くで開始された場合、EMが縮退解に収束するのを防ぐことはできません。

— 西安