ガウス混合モデルを使用した変分オートエンコーダ

変オートエンコーダ（VAE）は確率分布学習の方法を提供入力に関するその潜在表現に。特に、エンコーダーは入力を上の分布にマッピングします。典型的なエンコーダーは、ガウス分布を表すパラメーターを出力します ; この分布は、近似として使用されます。$p(x,z)$$x$$z$$e$$x$$z$$(\mu,\sigma)=e(x)$$\mathcal{N}(\mu,\sigma)$$p(z|x)$

出力がガウスではなくガウス混合モデルであるVAEを検討した人はいますか？これは役に立ちましたか？これが単純なガウス分布よりもはるかに効果的なタスクはありますか？それともほとんどメリットがありませんか？

はい、できました。次の論文は、その形式の何かを実装しています。

ガウス混合変オートエンコーダとディープ教師なしクラスタリング。Nat Dilokthanakul、Pedro AM Mediano、Marta Garnelo、Matthew CH Lee、Hugh Salimbeni、Kai Arulkumaran、Murray Shanahan。

彼らは、クラスタリングにこのアプローチを使用して実験します。ガウス混合の各ガウスは、異なるクラスターに対応します。ガウス混合は潜在空間（）にあり、をに接続するニューラルネットワークがあるため、これにより、入力空間（）で自明でないクラスターが可能になります。$z$$z$$x$$x$

この論文では、次のブログ投稿についても触れています。このブログ投稿では、そのアーキテクチャのさまざまなバリエーションを試しています。

これを指摘してくれたshimaoに感謝します。