トピックモデルのトピックの安定性

私は、一連の自由記述式エッセイの内容に関する情報を抽出したいプロジェクトに取り組んでいます。この特定のプロジェクトでは、148人が、大規模な実験の一環として、仮想の学生組織についてのエッセイを書きました。私の分野（社会心理学）では、これらのデータを分析する典型的な方法はエッセイを手作業でコーディングすることですが、ハンドコーディングは労働集約的であり、私にとっては少し主観的であるため、これを定量的に行いたいと思います味。

無料の応答データを定量的に分析する方法についての調査中に、トピックモデリング（またはLatent Dirichlet Allocation、またはLDA）と呼ばれるアプローチを見つけました。トピックモデリングでは、データの単語の表現（用語ドキュメントマトリックス）を使用し、単語の共起に関する情報を使用して、データの潜在的なトピックを抽出します。このアプローチは私のアプリケーションに最適のようです。

残念ながら、トピックモデリングをデータに適用すると、2つの問題が見つかりました。

1. トピックモデリングによって明らかにされたトピックは、解釈が難しい場合があります
2. 別のランダムシードを使用してトピックモデルを再実行すると、トピックが劇的に変化するように見える

特に問題2は私に関係しています。したがって、2つの関連する質問があります。

1. 解釈可能性と安定性のためにモデル適合手順を最適化するために、LDA手順でできることはありますか？個人的に、私は、最も低いパープレキシティおよび/または最高のモデル適合性を持つモデルを見つけることについてあまり気にしません-私は主にこの手順を使用して、この研究の参加者がエッセイで書いたものを理解し、特徴づけるのを助けたいです。ただし、結果がランダムシードのアーティファクトになりたくないのは確かです。
2. 上記の質問に関連して、LDAを実行するために必要なデータ量の基準はありますか？この方法を使用した私が見たほとんどの論文は、大きなコーパスを分析します（たとえば、過去20年間のすべてのScience論文のアーカイブ）が、実験データを使用しているため、ドキュメントのコーパスははるかに小さくなります。

手を汚したい人のために、ここにエッセイデータを投稿しました。使用しているRコードを以下に貼り付けました。

require(tm)
require(topicmodels)

# Create a corpus from the essay 
c <- Corpus(DataframeSource(essays))
inspect(c)

# Remove punctuation and put the words in lower case
c <- tm_map(c, removePunctuation)
c <- tm_map(c, tolower)

# Create a DocumentTermMatrix.  The stopwords are the LIWC function word categories
# I have a copy of the LIWC dictionary, but if you want to do a similar analysis,
# use the default stop words in tm
dtm <- DocumentTermMatrix(c, control = list(stopwords = 
  c(dict$funct, dict$pronoun, dict$ppron, dict$i, dict$we, dict$you, dict$shehe, 
    dict$they, dict$inpers, dict$article, dict$aux)))

# Term frequency inverse-document frequency to select the desired words
term_tfidf <- tapply(dtm$v/rowSums(as.matrix(dtm))[dtm$i], dtm$j, mean) * log2(nDocs(dtm)/colSums(as.matrix(dtm)))
summary(term_tfidf)

dtm <- dtm[, term_tfidf >= 0.04]

lda <- LDA(dtm, k = 5, seed = 532)
perplexity(lda)
(terms <- terms(lda, 10))
(topics <- topics(lda))

編集：

nstartFloundererがコメントで示唆しているように修正を試みました。残念ながら、以下に示すように、nstart1000に設定しても、ランダムシードからランダムシードまで非常に劇的に変化するトピックになります。繰り返しますが、以下の2つのモデルの推定で変更しているのは、モデルの推定を開始するために使用されるランダムシードのみですが、これらの2つの実行でトピックはまったく一貫していないようです。

lda <- LDA(dtm, k = 5, seed = 535, control = list(nstart = 1000))
(terms <- terms(lda, 10))

      Topic 1         Topic 2      Topic 3      Topic 4       Topic 5      
 [1,] "international" "ethnicity"  "free"       "credit"      "kind"       
 [2,] "communicate"   "true"       "team"       "mandatory"   "bridge"     
 [3,] "gain"          "asians"     "cooperate"  "music"       "close"      
 [4,] "use"           "hand"       "order"      "seen"        "deal"       
 [5,] "big"           "hold"       "play"       "barrier"     "designed"   
 [6,] "communication" "effective"  "big"        "stereotypes" "effort"     
 [7,] "america"       "emphasis"   "beginning"  "asians"      "implemented"
 [8,] "chinese"       "halls"      "china"      "fantastic"   "websites"   
 [9,] "ethnicity"     "minorities" "difference" "focusing"    "planned"    
[10,] "networks"      "population" "easier"     "force"       "body"

lda <- LDA(dtm, k = 5, seed = 536, control = list(nstart = 1000))
(terms <- terms(lda, 10))

      Topic 1       Topic 2         Topic 3        Topic 4       Topic 5    
 [1,] "kind"        "international" "issue"        "willing"     "play"     
 [2,] "easier"      "ethnicity"     "close"        "use"         "trying"   
 [3,] "gain"        "communication" "currently"    "hand"        "unity"    
 [4,] "websites"    "communicate"   "implemented"  "networks"    "decision" 
 [5,] "credit"      "bridge"        "particularly" "stereotypes" "gap"      
 [6,] "effort"      "america"       "credit"       "communicate" "normally" 
 [7,] "barriers"    "connection"    "fulfill"      "came"        "asians"   
 [8,] "effects"     "kind"          "grew"         "asians"      "created"  
 [9,] "established" "order"         "perspectives" "big"         "effective"
[10,] "strangers"   "skills"        "big"          "budget"      "prejudice"

私自身の好奇心のために、このデータセットに取り組んできたクラスタリングアルゴリズムを適用しました。

ここに結果を一時的に掲載しました（エッセイデータセットを選択します）。

問題は出発点やアルゴリズムではなく、データにあるようです。隠されたトピック/概念/テーマ/クラスター（呼び出したいものは何でも）がある限り、147インスタンスでも「合理的に」（主観的に、限られた経験で）良好なクラスターを取得できます。

データのトピックが十分に分離されていない場合、どのアルゴリズムを使用しても、適切な答えが得られない可能性があります。

1. いわゆる「トピックモデル」における「トピック」の概念は誤解を招くものです。このモデルは、意味的に一貫した「トピック」をまったく知らないか、まったく知らないように設計されています。「トピック」は、トークン（単語）の単なる分布です。つまり、モデルは用語の高次の共起をキャプチャするだけです。これらの構造が何かを意味するかどうかは、モデルの目的ではありません。

2. 「LDA」モデルには、2つの部分（本質的にすべてのグラフィカルモデル）があります。a）モデル定義と、b）推論アルゴリズムの実装/不動産モデルパラメーター。あなたが言及したことは「LDA」モデルの問題かもしれませんが、使用した特定の実装（Rパッケージ）のバグ/エラー/設定ミスの可能性があります。

3. 「LDA」のほぼすべての実装には、ランダム化が必要です。また、推論アルゴリズムの性質（MCMCや変分推論など）により、局所的な最小解または多くの解の分布が得られます。つまり、要するに、あなたが観察したことはどういうわけか予想されることです。

実用的な提案：

1. さまざまなRパッケージを試してください。たとえば、このパッケージはDavid Bleiの元大学院生によって作成されています。または、このような別の環境を試してください。少なくともこれらすべての安定したパッケージから同様の結果が得られれば、問題を少し軽減できます。

2. ストップワードを削除しないで少し遊んでみてください。理論的根拠は、これらのストップワードは、そのような小さなコーパス（たとえば、100件程度の記事）のセマンティックな意味を結び付ける上で重要な役割を果たすということです。また、フィルタリングしないようにしてください。

3. トピックの数が異なるなど、ハイパーパラメーターを少し試してみてください。

トピックの一貫性に関する論文：

1. http://www.aclweb.org/anthology-new/D/D12/D12-1087.pdf

2. http://people.cs.umass.edu/~wallach/publications/mimno11optimizing.pdf