それがどのように機能するかを数年理解した後、これがの更新されたチュートリアルです
テキストファイルのディレクトリを使用してNLTKコーパスを作成するにはどうすればよいですか?
主なアイデアは、nltk.corpus.readerパッケージを利用することです。英語のテキストファイルのディレクトリがある場合は、PlaintextCorpusReaderを使用するのが最善です。ます。
次のようなディレクトリがある場合:
newcorpus/
file1.txt
file2.txt
...
これらのコード行を使用するだけで、コーパスを取得できます。
import os
from nltk.corpus.reader.plaintext import PlaintextCorpusReader
corpusdir = 'newcorpus/'
newcorpus = PlaintextCorpusReader(corpusdir, '.*')
注:そのPlaintextCorpusReader
デフォルトを使用するnltk.tokenize.sent_tokenize()
と、nltk.tokenize.word_tokenize()
文章や言葉にあなたの文章を分割し、これらの機能は、英語のビルドされ、それがかもしれないですべての言語のために働きます。
テストテキストファイルを作成する完全なコードと、NLTKを使用してコーパスを作成する方法、およびさまざまなレベルでコーパスにアクセスする方法を次に示します。
import os
from nltk.corpus.reader.plaintext import PlaintextCorpusReader
txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus."""
txt2 = """Are you a foo bar? Yes I am. Possibly, everyone is.\n"""
corpus = [txt1,txt2]
corpusdir = 'newcorpus/'
if not os.path.isdir(corpusdir):
os.mkdir(corpusdir)
filename = 0
for text in corpus:
filename+=1
with open(corpusdir+str(filename)+'.txt','w') as fout:
print>>fout, text
assert os.path.isdir(corpusdir)
for infile, text in zip(sorted(os.listdir(corpusdir)),corpus):
assert open(corpusdir+infile,'r').read().strip() == text.strip()
newcorpus = PlaintextCorpusReader('newcorpus/', '.*')
for infile in sorted(newcorpus.fileids()):
print infile
with newcorpus.open(infile) as fin:
print fin.read().strip()
print
print newcorpus.raw().strip()
print
print newcorpus.paras()
print
print newcorpus.paras(newcorpus.fileids()[0])
print newcorpus.sents()
print
print newcorpus.sents(newcorpus.fileids()[0])
print newcorpus.words()
print newcorpus.words(newcorpus.fileids()[0])
最後に、テキストのディレクトリを読み取り、別の言語でNLTKコーパスを作成するには、最初に、文字列/ベース文字列の入力を受け取り、そのような出力を生成する、Pythonで呼び出し可能な単語トークン化および文トークン化モジュールがあることを確認する必要があります。
>>> from nltk.tokenize import sent_tokenize, word_tokenize
>>> txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus."""
>>> sent_tokenize(txt1)
['This is a foo bar sentence.', 'And this is the first txtfile in the corpus.']
>>> word_tokenize(sent_tokenize(txt1)[0])
['This', 'is', 'a', 'foo', 'bar', 'sentence', '.']