Word2vecモデルを使用して単語を予測する

「??ドアを開くと、自動的に加熱が開始されます」という文が与えられます。

??で可能な単語のリストを取得したい 確率で。

word2vecモデルで使用される基本的な概念は、周囲のコンテキストが与えられた単語を「予測」することです。

モデルが構築されたら、新しい文に対して予測タスクを実行するための正しいコンテキストベクトル操作は何ですか？

それは単なる線形和ですか？

model.most_similar(positive=['When','I','open','the','door','it','starts' ,'heating','automatically'])

Word2vecは、CBOWとskip-gramの2つのモデルで動作します。あなたの質問は、周囲の単語を与えられたターゲット単語を予測するのと同じように進むので、CBOWモデルを見てみましょう。

基本的に、モデルは入力および出力の重み行列を作成します。これは、隠されたレイヤーの助けを借りて、入力コンテキストワードおよび出力ターゲットワードに依存しています。したがって、逆伝播は、予測された出力ベクトルと現在の出力行列の誤差が異なる場合に重みを更新するために使用されます。

基本的に、特定のコンテキストワードからターゲットワードを予測することは、特定のデータに最適な重み行列を取得するための方程式として使用されます。

2番目の部分に答えるには、単なる線形和よりも少し複雑に思えます。

1. コンテキスト単語のすべての単語ベクトルを取得する
2. 平均化してhサイズの隠れ層ベクトルを見つけますNx1
3. サイズの出力行列syn1（word2vec.cまたはgensim）を取得しますVxN
4. で乗算syn1するhと、結果のベクトルはzサイズになりますVx1
5. y = softmax(z)sizeを使用して確率ベクトルを計算しますVx1。ここで、最高の確率は、語彙内のターゲットワードのワンホット表現を示します。 Vは語彙のサイズをN示し、埋め込みベクトルのサイズを示します。

出典：http : //cs224d.stanford.edu/lecture_notes/LectureNotes1.pdf

更新：長期短期記憶モデルは現在、次の単語を予測する上で素晴らしい仕事をしています。seq2seqモデルはtensorflowチュートリアルで説明されています。テキスト生成に関するブログ投稿もあります。

Word2Vecの最新バージョンでは、欠落単語の予測が機能として追加されています。もちろん、文はモデルのトレーニングに使用されるWord2Vecモデルの入力構文（小文字、ストップワードなど）と一致する必要があります

「ドアを開けたら？」の上位3語を予測するための使用法：

print(model.predict_output_word(['When','I','open','door']), topn = 3)