Latent Dirichlet Allocationでホールドアウトの困惑度を計算する方法は？

Latent Dirichlet Allocation（LDA）を行う際に、ホールドアウトサンプルの困惑度を計算する方法について混乱しています。トピックに関する論文はそれ以上に簡単で、私は明らかな何かを見逃していると思うようにしています...

複雑さは、LDAのパフォーマンスの良い尺度と見なされます。アイデアは、ホールドアウトサンプルを保持し、残りのデータでLDAをトレーニングし、ホールドアウトの複雑さを計算することです。

困惑は次の式で与えられます。

$per(D_{test})=exp\{-\frac{\sum_{d=1}^{M}\log p(\mathbb{w}_d)}{\sum_{d=1}^{M}N_d}\}$

（大規模画像データベースでの画像検索、Horster et alから引用）

ここで、 は（おそらくテストサンプルの）ドキュメントの数であり、はドキュメントの単語を表し、はドキュメントの単語の数をます。$M$$\mathbb{w}_d$$d$$N_d$$d$

を賢明に計算する方法は、保留されたドキュメントのトピック混合物がないため、私には明確ではありません。理想的には、可能なすべてのトピック混合物について事前にディリクレを介して統合し、学習したトピック多項式を使用します。ただし、この積分を計算するのは簡単なことではありません。$p(\mathbb{w}_d)$

または、（学習したトピックが与えられた）各保留文書の最適なトピック混合を学習し、これを使用して困惑を計算することもできます。これは実行可能ですが、Horter et alやBlei et alなどの論文が示唆しているように些細なことではなく、結果が上記の理想的な場合と同等であることはすぐにはわかりません。

実際、これはよく見直されます。

一部の人は少し生意気なことをしています：各文書の単語の割合を保持し、文書とトピックの混合物とトピックと単語の混合物を与えられたこれらの保留された単語の予測確率を使用して与える。これは、保留されているドキュメントのパフォーマンスを評価しないため、明らかに理想的ではありません。

提案されているように、手持ちの文書で適切に行うには、「考えられるすべてのトピックの混合物の前にディリクレに統合する」必要があります。http://people.cs.umass.edu/~wallach/talks/evaluation.pdfは、このわずかに不快な統合に取り組むためのいくつかの方法をレビューしています。私は実際にこれを自分で実装しようとしていますが、幸運を祈ります！

LDAのパラメーターは変分推論によって推定されることがわかっています。そう

$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)] + D(q(\theta,z)||p(\theta,z))$。

変分分布が元の分布と十分に等しい場合、です。したがって、、尤度です。log p （w | α 、β ）= E [ log p （θ 、z 、w | α 、β ）] − E [ log q （θ 、z ）$D(q(\theta,z)||p(\theta,z)) = 0$$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)]$

$\log p(w|\alpha, \beta)$は、変分推論から得られた尤度に近似します。