クラスター解を評価するための2つのガウス混合の間の距離

11

さまざまなクラスタリング手法を比較するためのクイックシミュレーションを実行していますが、現在、クラスタソリューションを評価しようとする障害にぶつかっています。

私はさまざまな検証メトリックスを知っています（Rのcluster.stats（）に多くあります）が、クラスターの推定数が実際のクラスターの実際の数と等しい場合、それらが最もよく使用されると思います。元のシミュレーションでクラスターの正しい数が指定されていない場合に、クラスターソリューションのパフォーマンスを測定する機能を維持したい（つまり、4クラスターを持つようにシミュレーションされた3つのクラスターソリューションモデルデータがどれだけうまく機能するか）解決）。参考までに、クラスタは同じ共分散行列を持つようにシミュレーションされます。

ガウス分布の2つの混合物間のKLダイバージェンスは実装に役立つと思いましたが、閉形式のソリューションは存在せず（Hershey and Olson（2007））、モンテカルロシミュレーションの実装は計算コストがかかり始めています。

（たとえ近似であっても）実装が簡単な他の解決策はありますか？

clustering kullback-leibler gaussian-mixture

— dmartin
ソース

2つのガウス混合の間のL2距離は、閉じた形式で利用できます。これを使用すると、すべての準備が整います。

どうすればいいのかわかりませんが、私には良い考えではないようです。混合物を取り、コンポーネントを並べ替え（p（x）への変更なし）、L2距離は何でもかまいません。また、L2距離は共分散行列では適切ではありません。

— bayerj 2014年

保留されたテストデータセットの事後予測確率。私はあなたがkの事前知識が必要だと思う。

— 2015年

最初のリンクが壊れている

— ttnphns '06 / 06/30

6

$\mathbb R^d$ 2つのガウス混合があると仮定します。それらの密度をそれぞれとと呼び、それらのコンポーネントの密度、を、。 $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

P = \sum_{i = 1}^{n} α_{i} P_{i} = \sum_{i = 1}^{n} α_{i} N (μ_{i}, Σ_{i}) Q = \sum_{j = 1}^{m} β_{j} Q_{j} = \sum_{j = 1}^{m} N (m_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$

p (\cdot)

$p(\cdot)$

q (\cdot)

$q(\cdot)$

P_{i}

$P_i$

Q_{j}

$Q_j$

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$

次の距離は閉じた形式で使用できます。

$L_2$ によるコメントで提案されている距離。これは：のセクション8.1.8の例に見られるように、ことに注意マトリックス料理：なので、時間で簡単に評価できます。
$\begin{aligned} L_{2} (P, Q)^{2} & = \int (p (x) - q (x))^{2} d x \\ = \int {(\sum_{i} α_{i} p_{i} (x) - \sum_{j} β_{j} q_{j} (x))}^{2} d x \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (x) p_{i^{'}} (x) d x + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (x) q_{j^{'}} (x) d x \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (x) q_{j} (x) d x . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ $O(m n)$
ガウスRBFカーネルでの最大平均不一致（MMD）。これはクールな距離ですが、統計コミュニティの間ではまだあまり知られていません。これを定義するには少し計算が必要です。

まかせヒルベルト空間定義などを対応する再生カーネルヒルベルト空間：。
$k (x, y) := \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ $\mathcal{H}$ $k$

平均マップカーネルをとして定義します
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

MMDは、次に
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

と混合では、あり、とでも同様です。 $P$ $Q$
$K (P, Q) = \sum_{i, j} α_{i} β_{j} K (P_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ $K(P, P)$

と同様のトリックを使用して、はであることが $L_2$ $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$
$(2 π σ^{2})^{d / 2} N (μ; μ^{'}, Σ + Σ^{'} + σ^{2} I) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

同様に、の倍数に明確にこの収束距離。ただし、通常はデータバリエーションの規模に応じて、別のを使用する必要があります。 $\sigma \to 0$ $L_2$ $\sigma$

閉じた形式は、MMDの多項式カーネルにも使用できます。見る $k$

Muandet、Fukumizu、Dinuzzo、およびSchölkopf（2012）。サポートメジャーマシンによる分布からの学習。事前の神経情報処理システム（公式版）。arXiv：1202.6504。

この距離の多くの優れた特性については、

Sriperumbudur、Gretton、Fukumizu、Schölkopf、およびLanckriet（2010）。ヒルベルト空間の埋め込みと確率測度に関する指標。Journal of Machine Learning Research、11、1517〜1561。arXiv：0907.5309。
二次Jensen-Rényi発散。Rényi-エントロピーはとして定義されとしてのその限界は、シャノンエントロピーです。Jensen-Rényiダイバージェンスはここで、は、と等しい混合を示します。これは場合、ことが判明とするとき及び（ここでのように）、ガウス混合物である、あなたがのために閉形式計算することができる。これは $\alpha$
$H_{α} (p) = \frac{1}{1 - α} \log (\int p (x)^{α} d x) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ $\alpha \to 1$ ${J R}_{α} (p, q) = H_{α} (\frac{p + q}{2}) - \frac{H_{α} (p) + H_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ $\frac{p + q}{2}$ $p$ $q$ $\alpha = 2$ $P$ $Q$ $\mathrm{JR}_2$

Wang、Syeda-Mahmood、Vemuri、Beymer、およびRangarajan（2009）。ガウス混合の閉形式Jensen-Renyi発散とグループ単位の形状登録への応用。Med Image Comput Comput Assist Interv。、12（1）、648–655。（無料公開バージョン）

— ドゥガル
ソース

0

クラスターが実際にはガウス混合ではなく、任意の形状である場合、より多くのクラスターを作成し、その後いくつかを再度マージすると、実際の結果ははるかに良くなる可能性があります。

多くの場合、任意に高いkを選択するだけです。たとえば、大きなデータセットの場合は1000です。特に、モデルにあまり興味がなく、ベクトル量子化を介してデータセットの複雑さを軽減したい場合。

— QUITあり-匿名ムース
ソース

ガウス混合から描画されるクラスターをシミュレートしたので、私の仮定は妥当だと思います。ここでの目標は、複雑さを軽減したり、kを選択するための決定基準を考えたりすることではなく、kが実際に正しくない場合に、kクラスターがデータをどれだけうまくモデル化するかを比較することです。一部の誤った選択は他のデータよりもデータをより適切にモデル化する可能性があり、私はいくつかの計算でこの程度の不適合を定量化しようとしています（KLダイバージェンスのようですが、ガウス混合の実装が簡単です）。

— dmartin 2013年

0

フィッシャーカーネル法とその他の手法を使用したマハラノビスDからGMMへの一般化を次に示します。

ティッピング、マイケルE.「ガウス混合モデルからのクラスター分析距離関数の導出」（1999）：815-820。 https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

参照：マハラノビス距離のマルチガウスバージョンはありますか？

— レナー・ホイト
ソース