テキスト分類子トレーニングデータセットを提案する

テキスト分類子のトレーニングに使用できる自由に利用できるデータセットはどれですか？

私たちは、ユーザーに最も関連するコンテンツを推奨することでユーザーエンゲージメントを強化しようとしているため、事前定義された単語のバッグに基づいてコンテンツを分類した場合、すでに分類されたランダムな数の投稿に関するフィードバックを得ることで、ユーザーに魅力的なコンテンツを推奨できると考えました前。

この情報を使用して、これらのクラスでラベル付けされたパルスを彼に推奨できます。しかし、コンテンツに関連しない定義済みの単語のバッグを使用した場合、特徴ベクトルはゼロでいっぱいになることもわかりました。また、カテゴリはコンテンツに関連していない可能性があります。これらの理由により、コンテンツを分類せずにクラスタリングする別のソリューションを試しました。

ありがとう:)

テキスト分類の標準データセットには、20-Newsグループ、Reuters（8および52クラス）およびWebKbがあります。あなたはここでそれらすべてを見つけることができます。

テキストの分類研究に最も広く使用されているテストコレクションの1つ（下のリンク）。何度も使っています。あなたの探検をお楽しみください:)

http://www.daviddlewis.com/resources/testcollections/reuters21578/ または http://archive.ics.uci.edu/ml/datasets/Reuters-21578+Text+Categorization+Collection

ここで使用できるように、UC Irvineによって無料で作成されたデータセットがたくさんあります。それらのデータセットの中には、あなたの仕事であなたを助けるかもしれない数十のテキストのデータセットがあります。

これらは一種の一般的なデータセットであるため、目的によっては、モデルをトレーニングするための唯一のデータとして使用しないでください。

上記の提案とは別に、モデルをテストするためのベンチマークと一緒にさまざまなデータセットを含む非常に便利なpdf- 分類およびクラスタリングタスクのベンチマークテキストコレクションがあります。これには、20ngコレクション、ロイター、および上記の推奨データセットの多くが含まれます。お役に立てば幸いです。