私は感情分析をしようとしています。単語を単語ベクトルに変換するために、word2vecモデルを使用しています。すべての文が「sentences」という名前のリストにあり、次のようにこれらの文をword2vecに渡しているとします。
model = word2vec.Word2Vec(sentences, workers=4 , min_count=40, size=300, window=5, sample=1e-3)
私は単語ベクトルに慣れていないので、2つの疑問があります。
1-特徴の数を300に設定すると、単語ベクトルの特徴が定義されます。しかし、これらの機能は何を意味していますか？このモデルの各単語が1x300のnumpy配列で表されている場合、これらの300の特徴はその単語に対して何を意味するのでしょうか。
2-上記のモデルの「sample」パラメーターで表されるダウンサンプリングは実際には何をしますか？
前もって感謝します。
回答:
1-機能の数：ニューラルネットワークモデルの観点から、これはプロジェクション（非表示）レイヤーのニューロンの数を表します。プロジェクションレイヤーは分布仮説に基づいて構築されているため、各単語の数値ベクトルは、コンテキストワードとの関係を示しています。
これは教師なしの方法であるため、これらの機能はニューラルネットワークによって学習されます。各ベクトルには、いくつかのセマンティック特性のセットがあります。たとえば、古典的な例を考えてみましょうV(King) -V(man) + V(Women) ~ V(Queen)。各単語は300-dベクトルで表されます。V(King)王族、王国、男らしさ、人間の意味的特徴を特定の順序でベクターに持ちます。V(man)男らしさ、人間、特定の順序で動作します。したがって、V(King)-V(Man)行われると、男らしさ、人間の特徴は無効になり、V(Women)女性らしさを持つものを追加すると、人間の特徴が追加され、結果として、V(Queen)。興味深いのは、これらの特性が特定の順序でベクトルにエンコードされるため、加算、減算などの数値計算が完全に機能することです。これは、ニューラルネットワークにおける教師なし学習方法の性質によるものです。
2- 2つの近似アルゴリズムがあります。Hierarchical softmaxとnegative sampling。サンプルパラメータを指定すると、負のサンプリングが行われます。階層型ソフトマックスの場合、各単語ベクトルについて、そのコンテキスト単語には正の出力が与えられ、語彙の他のすべての単語には負の出力が与えられます。時間の複雑さの問題は、負のサンプリングによって解決されます。負のサンプリングと同様に、語彙全体ではなく、サンプリングされた語彙の一部のみに負の出力が与えられ、ベクトルはトレーニングされます。これは、以前の方法よりもはるかに高速です。