ガウス混合の使用を正当化する参照

ガウス混合モデル（GMM）は、分析的にも実際的にも簡単に使用でき、あまり複雑ではないいくつかのエキゾチックな分布をモデル化できるため、魅力的です。一般に明確ではないいくつかの分析プロパティを保持する必要があります。特に：

$S_n$ $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
我々は連続分布持っていると言う、我々は発見した -componentガウス混合近くにある全変動で：。私たちは、バインドすることができますという点で？ $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
独立した加法性ノイズ（実数、連続の両方）を通じてを観察したい場合、GMM where 、この値は小さい：つまり、ノイズを介してを推定することは、ノイズを介してを推定するのと同じくらい難しいというのは本当ですか？ $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$
ポアソンノイズのような非加法性ノイズモデルに対してそれを行うことはできますか？

これまでの私の（短い）文献レビューでは、非常に応用的なチュートリアルが行われました。混合モデルを使用することで正当化される条件を厳密に示す参考文献はありますか？

— 程度
ソース

GMMのセットは、弱いトポロジの分布のセットで密です（分布の収束に対応）。ここを参照してください。最初のステートメントが成立するかどうかはわかりませんが、混合物のゼロ分散成分が点質量を処理できるようにする必要があります。また、2番目の箇条書きについても、ポイントマスの問題のために懐疑的です。

P

$P$

— -Dougal

良い点、私はすべてが連続的であるべきだと指定しました

— -enthdegree

ガウスカーネルを使用したカーネル密度推定に関する文献をご覧になると幸運になるかもしれません。サンプルごとに1つのガウス分布が混在しているため、サンプル数が増えると、漸近的に不偏で一貫した分布の推定量が得られますか？答えはイエスだと思いますが、すぐに参照を見つけることができませんでした。

— グレッグVer Steeg

@enthdegree：非常に良い質問です。強力なトポロジ（KLの発散と全変動）を使用するため、最初の2つのポイントに対する一般的な答えは「いいえ」です。たとえば、ファットテール分布を考えます。任意の有限ガウス混合に対するKLは無限です（100％ではありませんが、これは機能すると確信しています）。しかし、これははるかに興味深い質問につながります。確率分布のサブクラスには、すべての箇条書きが適用されますか？答えはわかりませんが、非常に興味深いようです。私の推測では、おそらくほぼすべての確率分布です。

— ギヨームデハーン

この本で授業を受けました。link 基礎についてある程度のバックグラウンドを行います。

— EngrStudent-モニカの復活

回答:

計量経済学では、コンテキストがロジットモデルの係数の混合分布である場合、標準的な参照は次のとおりです。イーコン。15：447-470（2000）。

— ティム
ソース

あなたの質問に関して：

ガウス分布のディリクレ過程混合の非常に類似したベイジアン問題については、答えはイエスだと理解しています。ゴーサル（2013）。
このトピックに関するいくつかの講演に出席したとき、主にKL発散を使用して進展があったように見えました。ハリー・ファン・ザンテンのスライドをご覧ください。
はっきりしません。ただし、これはソース分離の問題のように見えます（不明）。これらは一般に、混合モデリングのみよりもはるかに困難です。特に、の単純な場合 $P_N, P_S$ あなたは真識別することができないと伴うゼロ約分布の対称性。 $P_N = P_S = N(0,1)$ $X$ $Y$
上記のリンクの4番目のスライドを参照してください。収束が保証されるベイジアンモデルのリストがあります。

— 推測
ソース

ここに部分的な答えがあります。

言う $S_n$ を有するすべてのガウス混合物のクラスである $n$ コンポーネント。実数の連続分布 $P$ について、 $n$ が大きくなると、相対エントロピーの意味で損失が無視できるGMMで $P$ を近似できることが保証されますか？つまり、ない
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

$D(P\|Q)$ あなたがいることを知っていれば小さいの尾は、最終的に同じ順序のある S 'になっています。これは、一般的には真実ではありません。それはされていないことを確認するのは難しいです以下のためのコーシー次いで任意ための、 $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

そのためには、条件がさらに必要です。 $P$

我々は連続分布持っていると言う、我々は発見した -componentガウス混合近くにある全変動で：。私たちは、バインドすることができますという点で？ $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

いいえ。上記と同じ例が適用されます。

私たちが観察したい場合は独立した付加的なノイズによって（、実際の連続の両方）、そして我々はのGMM持っ、その後に、この値は小さいですか： $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$ すなわち、それは推定ことは事実である通じノイズ推定として、ハードとしてについてです経由ノイズ？
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

知りません。場合は有限の平均と分散を持って、その後MMSEsはと（シンプル導出こちら）。これらの仮定により、目的は次のことを判断することです $X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ 場合小さい小さいです。関連。 $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

私はこれを一般的に証明することも、P、Qで想定した追加の加法構造を使用することも、反例を考え出すこともできませんでした。

ポアソンノイズのような非加法性ノイズモデルに対してそれを行うことはできますか？

これはあいまいです。前の質問の文脈において、その回答のステートメントが一般的に証明できる場合、答えはイエスです。

— 程度
ソース