Word2Vecのより良い入力は何ですか？

これは、一般的なNLPの質問に似ています。Word2Vecを埋め込む単語をトレーニングするための適切な入力は何ですか？記事に属するすべての文は、コーパス内の別個の文書である必要がありますか？または、各記事はコーパス内のドキュメントである必要がありますか？これは、Pythonとgensimを使用した単なる例です。

文で分割されたコーパス：

SentenceCorpus = [["first", "sentence", "of", "the", "first", "article."],
                  ["second", "sentence", "of", "the", "first", "article."],
                  ["first", "sentence", "of", "the", "second", "article."],
                  ["second", "sentence", "of", "the", "second", "article."]]

コーパスを記事ごとに分割：

ArticleCorpus = [["first", "sentence", "of", "the", "first", "article.",
                  "second", "sentence", "of", "the", "first", "article."],
                 ["first", "sentence", "of", "the", "second", "article.",
                  "second", "sentence", "of", "the", "second", "article."]]

PythonでのWord2Vecのトレーニング：

from gensim.models import Word2Vec

wikiWord2Vec = Word2Vec(ArticleCorpus)

この質問への答えは、それが依存するということです。主なアプローチは、トークン化された文を渡すことです（そのためSentenceCorpus、例では）が、目標が何であり、コーパスが何を見ているかに応じて、代わりに記事全体を使用して埋め込みを学習することができます。これは事前に知らないかもしれないことです-埋め込みの品質をどのように評価したいかを考え、いくつかの実験を行ってどの種類の埋め込みがタスクに役立つかを確認する必要があります（ s）。

@NBartleyの回答の補足として。誰にでもこの質問に出くわします。Spark2.2のword2vecの入力として記事/文章を使用しようとしましたが、結果は次のとおりです。

入力として文を使用：

入力として記事を使用します。

前者の場合、gensimにはWord2Vecクラスがあります。後者の場合、Doc2Vec。

http://rare-technologies.com/doc2vec-tutorial/