タグ付けされた質問 「variational-bayes」

変オートエンコーダ（VAE）は確率分布学習の方法を提供入力に関するその潜在表現に。特に、エンコーダーは入力を上の分布にマッピングします。典型的なエンコーダーは、ガウス分布を表すパラメーターを出力します ; この分布は、近似として使用されます。p （x 、z）p（バツ、z）p(x,z)バツバツxzzzeeeバツバツxzzz（μ 、σ）= e （x ）（μ、σ）=e（バツ）(\mu,\sigma)=e(x)N（μ 、σ）N（μ、σ）\mathcal{N}(\mu,\sigma)p （z| x）p（z|バツ）p(z|x) 出力がガウスではなくガウス混合モデルであるVAEを検討した人はいますか？これは役に立ちましたか？これが単純なガウス分布よりもはるかに効果的なタスクはありますか？それともほとんどメリットがありませんか？

9 neural-networks  deep-learning  autoencoders  variational-bayes 

このトピックについて調査したところ、PythonとRのメッセージパッシングまたは最適化メソッドに依存する推論パッケージとライブラリの驚くべき不足に気づきました。 私の知る限りでは、これらの方法は非常に便利です。たとえば、ベイズネットワーク（有向、非循環）の場合、信念の伝播だけで正確な答えが得られるはずです。ただし、オンラインで利用できるほとんどの推論ソフトウェア（たとえば、STAN、BUGS、PyMC）は、MCMCメソッドに依存しています。 Pythonの場合、私の知る限りでは、PyMC、scikit-learn、statsmodelsのいずれにも、信念伝播、メッセージパッシングメソッド、またはそれらのバリアントなどの変分推論アルゴリズムは含まれていません。 何故ですか？これらの方法は、MCMCの対応物ほど強力でも汎用的でもないため、実際にはあまり使用されていませんか？またはそれは単に人手と時間の不足の問題ですか？

8 r  python  bayes  variational-bayes 

パターン認識と機械学習（Bishop、2007）の第10章に従って、多変量ガウス分布のバニラ変分混合を実装しています。 ベイジアン手法では、事前にガウス逆ウィシャートの（ハイパー）パラメーターを指定する必要があります。 α0α0\alpha_0 （事前のディリクレ濃度パラメーター）; ν0ν0\nu_0 （逆ウィシャート分布の自由度）; β0β0\beta_0 （ガウス逆Wishart分布の疑似観測）; m0m0\mathbf{m}_0 （ガウス分布の平均）。 W0W0\mathbf{W}_0 （逆ウィシャートのスケール行列）。 一般的な選択肢は α0=1α0=1\alpha_0 = 1、 ν0=d+1ν0=d+1\nu_0 = d + 1、 β0=1β0=1\beta_0 = 1、 m0=0m0=0\textbf{m}_0 = \textbf{0}、 W0=IdW0=Id\textbf{W}_0 = \textbf{I}_d、 どこ ddd 空間の次元です。 当然のことながら、事後はパラメータの選択に強く依存する可能性があります（特に、 W0W0\textbf{W}_0 コンポーネントの数に大きな影響を与えます。 α0α0\alpha_0）。ためにメートル0m0\textbf{m}_0 そして W0W0\textbf{W}_0、上記の選択は、データがある程度正規化されている場合にのみ意味があります。 一種の経験的なベイズアプローチに従って、私は設定を考えていました メートル0m0\textbf{m}_0 そして W− 10W0−1\textbf{W}_0^{-1} データの経験的平均および経験的共分散行列に等しい（後者の場合、おそらく対角線のみを考慮することができます。また、サンプルの共分散行列を乗算する必要があります ν0ν0\nu_0）。これは賢明でしょうか？パラメータを設定する他の合理的な方法について何か提案はありますか？（完全に階層的なベイズとDPGMMを使用せずに） （ここにも同様の質問がありますが、私の質問に関連する回答はありません。）

7 machine-learning  bayesian  prior  gaussian-mixture  variational-bayes