タグ付けされた質問 「word2vec」

word2vecのCBOWモデルとスキップグラムモデルでは、（入力単語行列）から単語ベクトルを選択する方法とから単語ベクトルを選択する方法W ′WWWW』W』W'（出力ワードマトリックス）は、結果のワードベクトルの品質に影響しますか？ CBOW： スキップグラム：

9 neural-networks  natural-language  word2vec  word-embeddings 

私は、標準/有名な読んでいたword2vecするためのモデルをしてstandordのメモによるとcs224n：から目的関数の変化を JO R I GI N L= −Σj = 0 、j ≠ m2 メートルあなた⊤c − m + jvc+ 2 m l o g（Σk = 1| V|e x p （あなた⊤kvc））Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c + 2m log \left( \sum^{|V|}_{k=1} exp(u^{\top}_k v_c) \right) に： JNS1= − l o gσ（あなた⊤c − m …

8 neural-networks  deep-learning  natural-language  word2vec  word-embeddings