潜在ディリクレ割り当てを使用したトピック予測

ドキュメントのコーパスでLDAを使用し、いくつかのトピックを見つけました。コードの出力は、確率を含む2つの行列です。1つのdoc-topic確率と他のword-topic確率。しかし、実際には、これらの結果を使用して新しいドキュメントのトピックを予測する方法がわかりません。ギブスサンプリングを使用しています。誰もが方法を知っていますか？ありがとう

「折りたたむ」ことを試みます。これは、1つの新しいドキュメントを取得してコーパスに追加し、その新しいドキュメント内の単語のみでギブスサンプリングを実行し、古いドキュメントのトピックの割り当てを同じにすることを意味します。これは通常、高速で収束し（5〜10〜20回の反復）、古いコーパスをサンプリングする必要がないため、高速で実行されます。最後に、新しいドキュメントのすべての単語にトピックを割り当てます。これにより、そのドキュメントのトピックの分布がわかります。

Gibbsサンプラーには、おそらく次のコードのようなものがあります。

// This will initialize the matrices of counts, N_tw (topic-word matrix) and N_dt (document-topic matrix)
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Assign current token to a random topic, updating the count matrices
    end
end

// This will do the Gibbs sampling
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Compute probability of current token being assigned to each topic
       Sample a topic from this distribution
       Assign the token to the new topic, updating the count matrices
    end
end

フォールドインは同じですが、既存のマトリックスから始めて、新しいドキュメントのトークンをそれらに追加し、新しいトークンのみのサンプリングを行います。すなわち：

Start with the N_tw and N_dt matrices from the previous step

// This will update the count matrices for folding-in
for token = 1 to N_Tokens_In_New_Document
   Assign current token to a random topic, updating the count matrices
end

// This will do the folding-in by Gibbs sampling
for token = 1 to N_Tokens_In_New_Document
   Compute probability of current token being assigned to each topic
   Sample a topic from this distribution
   Assign the token to the new topic, updating the count matrices
end

$p^i_w$$w$$i$$j$$w_j$