このガウス混合不等式を証明する方法は？（フィッティング/オーバーフィッティング）

f [x]をn項の均一な重みを持つガウス混合pdfとしと、対応する分散、を意味し： $\{\mu_{1},...,\mu_{n}\}$ $\{\sigma_{1},...,\sigma_{n}\}$

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{\sqrt{2 π σ_{i}^{2}}} e^{- \frac{(x - μ_{i})^{2}}{2 σ_{i}^{2}}}

$f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}}$

n個のガウス中心でサンプリングされた対数尤度が平均対数尤度よりも大きい（または等しい）ことは直感的に思えます。

\frac{1}{n} \sum_{j = 1}^{n} l n (f (μ_{j})) \geq \int f (x) l n (f (x)) d x

$\frac{1}{n}\sum_{j=1}^{n}ln(f(\mu_{j}))\geq\int f(x)ln(f(x))dx$

これは明らかに、小さい分散（各が狭いガウスの上にある）と非常に大きい分散（すべてのが1つの広いガウスの上にある）に当てはまり、それは当てはまりますとのすべてのセットを生成して最適化しましたが、それが常に真であることを証明する方法を理解できません。助けて？ $\mu_{i}$ $\mu_{i}$ $\mu_i$ $\sigma_i$

machine-learning gaussian-mixture

— ジェリー・ガーン
ソース

あなたはおそらくLHSへの期待を逃していますか？

— lacerbi 2016年

@lacerbiいいえ、私は違います。不足しているものはありません。LHSに、、インデックス付きで評価さの

f (x)

$f(x)$

x_{i}

$x_i$

— ジェリーGuern

ええ、申し訳ありません-私はあまりに眠くて、定義を読み違えました。

— lacerbi 2016年

回答:

これは拡張されたコメントのようなものなので、そのように解釈してください。定義：（私は標準を使用していますガウス分布の表記）。

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} N (x | x_{i}, σ_{i}^{2})

$f(x) \equiv \frac{1}{n} \sum_{i = 1}^n \mathcal{N}\left(x | x_i, \sigma_i^2 \right)$

次のことを証明したい場合： which is

\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i}) - \int f (x) \log f (x) d x \geq 0

$\frac{1}{n} \sum_{i = 1}^n \log f(x_i) - \int f(x) \log f(x) dx \ge 0$

{\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i})} + H [f] \geq 0.

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i)\right\} + \mathcal{H}[f] \ge 0.$

ジェンセンの不等式のため（たとえば、Huber et al。、On Entropy Approximation for Gaussian Mixture Random Vectors、2008を参照）、と、これは2つのガウス密度の畳み込みから生じます。したがって、次のようになります：興味深いことに、は依然としてガウシアンと平均に等しい成分平均の混合です。

H [f] \geq - \frac{1}{n} \sum_{i = 1}^{n} \log \int f (x) N (x | x_{i}, σ_{i}^{2}) d x = - \frac{1}{n} \sum_{i = 1}^{n} \log g_{i} (x_{i})

$\mathcal{H}[f] \ge -\frac{1}{n} \sum_{i = 1}^n \log \int f(x) \mathcal{N}(x | x_i, \sigma_i^2) dx = -\frac{1}{n} \sum_{i = 1}^n \log g_i(x_i)$

g_{i} (x) \equiv \frac{1}{n} \sum_{j = 1}^{n} N (x | x_{j}, σ_{i}^{2} + σ_{j}^{2})

$g_i(x) \equiv \frac{1}{n} \sum_{j = 1}^n \mathcal{N}\left(x | x_j, \sigma_i^2 + \sigma_j^2 \right)$

{\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i})} + H [f] \geq \frac{1}{n} \sum_{i = 1}^{n} \log \frac{f (x_{i})}{g_{i} (x_{i})} .

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i) \right\} + \mathcal{H}[f] \ge \frac{1}{n} \sum_{i = 1}^n \log \frac{f(x_i)}{g_i(x_i)}.$

g_{i}

$g_i$

f

$f$ 、ただし各コンポーネントは、対応するコンポーネントよりも厳密に大きな分散を持っています。これで何かできる？

g_{i}

$g_i$

f

$f$

— ラセルビ
ソース

ありがとうございました。最終的なRHSが> = 0であることを証明しているように見えますが、これも直観的ですが証明が難しいように見えますが、これは確かに正しい方向への一歩です。私は以前その紙を見たことがあります。

— Jerry Guern、2016年

最終的なRHSが常にポジティブであると考えるのは魅力的ですが、実際にそれを証明することもできません。

— Jerry Guern、2016

わかったと思います。あなたはそれらを正しく組み合わせる必要がありますが、それは基本的なステップをとるだけです。

番目のガウス分布の密度を示します。つまり、 $f_i$ $i$ $\frac{1}{\sqrt{2\pi \sigma_i^2}}e^{\frac{(x-\mu_i)^2}{2\sigma_i^2}}$

私たちはジェンセンの不平等から始めます。関数は凸型であるため、次のようになります。統合後、次のものが得られます： Edit：以下の不等式は間違っており、ソリューション自体も間違っています $g(x) = x log(x)$ $f(x) \log(f(x)) \leq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$

\int f (x) \log (f (x)) d x \leq \frac{1}{n} \sum_{i = 1}^{n} \int f_{i} (x) \log (f_{i} (x)) d x

$\int f(x)\log(f(x)) dx \leq \frac{1}{n} \sum_{i=1}^n \int f_i(x) \log(f_i(x)) dx$

今、RHS。すべてのにがあるので、したがって、証明する必要があります：しかし、を合計してで割ると、何が得られるか私たちは必要でした $i$ $f \geq f_i$

l o g (f (μ_{i})) \geq l o g (f_{i} (μ_{i}))

$log(f(\mu_i)) \geq log(f_i(\mu_i))$

\frac{1}{n} \sum_{i = 1}^{n} l o g (f (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$

\frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} f_{i} (x) \log (f_{i} (x))

$\frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$

l o g (f_{i} (μ_{i})) = \int f_{i} (x) l o g (f_{i} (μ_{i})) d x \geq \int f_{i} (x) l o g (f_{i} (x)) d x

$log(f_i(\mu_i)) = \int f_i(x) log(f_i(\mu_i)) dx \geq \int f_i(x) log(f_i(x)) dx$

i

$i$

n

$n$

— sjm.majewski
ソース

よくわかりません。ag（x）を定義しましたが、使用していません。f_iの意味がわかりません。

— Jerry Guern、2016

定義を追加しました。申し訳ありません。私はジェンセンの不等式のためだけにを使用します。つまり、

f_{i}

$f_i$

g

$g$

g (\frac{1}{n} \sum_{i = 1}^{n} f_{i} (x)) \leq \frac{1}{n} \sum_{i = 1}^{n} g (f_{i} (x))

$g(\frac{1}{n}\sum_{i=1}^n f_i(x)) \leq \frac{1}{n}\sum_{i=1}^n g(f_i(x))$

— sjm.majewski

あなたは声明場合にのみ正確である重量がの定義の一部であるが、それはありませんし、あなたの証明の初めの部分まで台無しに戻ってそれを追加します。

f >= f_{i}

$f>=f_i$

1 / n

$1/n$

f_{i}

$f_i$

— Jerry Guern、2016

このステートメントは正しくありません：

\frac{1}{n} \sum_{i = 1}^{n} l o g (f (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$

— Jerry Guern

ええ、私は昨日それを実現しました。この不平等はかなり厳しいようですが、とにかく編集して私の答えを残しておきます。

— sjm.majewski