nltk.data.loadでenglish.pickleを読み込めませんでした

punktトークナイザーをロードしようとすると...

import nltk.data
tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle')

... a LookupErrorが発生しました：

> LookupError: 
>     *********************************************************************   
> Resource 'tokenizers/punkt/english.pickle' not found.  Please use the NLTK Downloader to obtain the resource: nltk.download().   Searched in:
>         - 'C:\\Users\\Martinos/nltk_data'
>         - 'C:\\nltk_data'
>         - 'D:\\nltk_data'
>         - 'E:\\nltk_data'
>         - 'E:\\Python26\\nltk_data'
>         - 'E:\\Python26\\lib\\nltk_data'
>         - 'C:\\Users\\Martinos\\AppData\\Roaming\\nltk_data'
>     **********************************************************************

私も同じ問題を抱えていました。Pythonシェルに移動し、次のように入力します。

>>> import nltk
>>> nltk.download()

次に、インストールウィンドウが表示されます。[モデル]タブに移動し、[識別子]列の下から[punkt]を選択します。次に、[ダウンロード]をクリックすると、必要なファイルがインストールされます。その後、動作するはずです！

このようにできます。

import nltk
nltk.download('punkt')

from nltk import word_tokenize,sent_tokenize

関数にpunkt引数として渡すことでトークナイザーをダウンロードできますdownload。これで、単語と文のトークナイザーがで利用できるようになりnltkます。

あなたはすべてのもの、すなわちをダウンロードしたい場合はchunkers、grammars、misc、sentiment、taggers、corpora、help、models、stemmers、tokenizers、このような任意の引数を渡すことはありません。

nltk.download()

詳細については、こちらをご覧ください。https://www.nltk.org/data.html

これが今私にとってうまくいったことです：

# Do this in a separate python interpreter session, since you only have to do it once
import nltk
nltk.download('punkt')

# Do this in your ipython notebook or analysis script
from nltk.tokenize import word_tokenize

sentences = [
    "Mr. Green killed Colonel Mustard in the study with the candlestick. Mr. Green is not a very nice fellow.",
    "Professor Plum has a green plant in his study.",
    "Miss Scarlett watered Professor Plum's green plant while he was away from his office last week."
]

sentences_tokenized = []
for s in sentences:
    sentences_tokenized.append(word_tokenize(s))

stories_tokenizedは、トークンのリストのリストです。

[['Mr.', 'Green', 'killed', 'Colonel', 'Mustard', 'in', 'the', 'study', 'with', 'the', 'candlestick', '.', 'Mr.', 'Green', 'is', 'not', 'a', 'very', 'nice', 'fellow', '.'],
['Professor', 'Plum', 'has', 'a', 'green', 'plant', 'in', 'his', 'study', '.'],
['Miss', 'Scarlett', 'watered', 'Professor', 'Plum', "'s", 'green', 'plant', 'while', 'he', 'was', 'away', 'from', 'his', 'office', 'last', 'week', '.']]

この文章は、本「Mining the Social Web、2nd Edition」に付属するサンプルのipythonノートブックから取られました。

bashコマンドラインから、次のコマンドを実行します。

$ python -c "import nltk; nltk.download('punkt')"

これは私にとってはうまくいきます：

>>> import nltk
>>> nltk.download()

Windowsでは、nltkダウンローダーも取得します

Simple nltk.download()はこの問題を解決しません。以下を試してみましたが、うまくいきました：

でnltkフォルダの作成tokenizers、フォルダをして、コピーしpunktたフォルダをtokenizersフォルダ。

これは動作します。フォルダ構造は写真のようにする必要があります！1

nltkには、事前トレーニング済みのトークナイザーモデルがあります。内部で事前定義されたWebソースからモデルがダウンロードされ、インストールされているnltkパッケージのパスに保存されている間、次の可能な関数呼び出しを実行しています。

例1 tokenizer = nltk.data.load（ 'nltk：tokenizers / punkt / english.pickle'）

例2 nltk.download（ 'punkt'）

コードで上記の文を呼び出す場合は、ファイアウォール保護なしでインターネットに接続していることを確認してください。

上記の問題をより深く理解して解決するためのより良いオルターネットの方法を共有したいと思います。

次の手順に従って、nltkを使用して英語の単語のトークン化をお楽しみください。

ステップ1：まず、Webパスに従って「english.pickle」モデルをダウンロードします。

リンク「http://www.nltk.org/nltk_data/」に移動し、オプション「107. Punkt Tokenizer Models」で「download」をクリックします

ステップ2：ダウンロードした「punkt.zip」ファイルを抽出し、そこから「english.pickle」ファイルを見つけて、Cドライブに配置します。

手順3：次のコードをコピーして貼り付け、実行します。

from nltk.data import load
from nltk.tokenize.treebank import TreebankWordTokenizer

sentences = [
    "Mr. Green killed Colonel Mustard in the study with the candlestick. Mr. Green is not a very nice fellow.",
    "Professor Plum has a green plant in his study.",
    "Miss Scarlett watered Professor Plum's green plant while he was away from his office last week."
]

tokenizer = load('file:C:/english.pickle')
treebank_word_tokenize = TreebankWordTokenizer().tokenize

wordToken = []
for sent in sentences:
    subSentToken = []
    for subSent in tokenizer.tokenize(sent):
        subSentToken.extend([token for token in treebank_word_tokenize(subSent)])

    wordToken.append(subSentToken)

for token in wordToken:
    print token

問題が発生した場合はお知らせください

ジェンキンスさんは、これはへのコードのように、以下を追加することによって固定することができVIRTUALENVビルダーの下にビルド ]タブ：

python -m nltk.downloader punkt

nltkでpos taggingを行おうとしたときにこの問題に遭遇しました。私が正しく理解した方法は、「taggers」という名前のコーパスディレクトリと共に新しいディレクトリを作成し、ディレクトリタガーにmax_pos_taggerをコピーすることです。
それもあなたのために働くことを願っています。それで最高の幸運!!!。

Spyderでアクティブシェルに移動し、以下の2つのコマンドを使用してnltkをダウンロードします。import nltk nltk.download（）すると、NLTKダウンローダーウィンドウが次のように表示されます。このウィンドウの[モデル]タブに移動し、[punkt]をクリックして、[punkt]をダウンロードします。

すべてのNLTKライブラリがあるかどうかを確認します。

punkt tokenizersのデータは35 MBを超える非常に大きいため、私のように、リソースが限られているラムダなどの環境でnltkを実行している場合、これは大きな問題になる可能性があります。

1つまたはおそらくいくつかの言語トークナイザーのみが必要な場合は、それらの言語.pickleファイルのみを含めることで、データのサイズを大幅に削減できます。

英語のみをサポートする必要がある場合は、nltkデータサイズを407 KBに減らすことができます（python 3バージョンの場合）。

手順

1. nltk punktデータをダウンロード：https ://raw.githubusercontent.com/nltk/nltk_data/gh-pages/packages/tokenizers/punkt.zip
2. 環境のどこかにフォルダを作成しますnltk_data/tokenizers/punkt。python 3を使用している場合PY3は、新しいディレクトリ構造がのようになるように別のフォルダを追加しますnltk_data/tokenizers/punkt/PY3。私の場合、プロジェクトのルートにこれらのフォルダーを作成しました。
3. zipを解凍し、.pickleサポートする言語のファイルを、punkt作成したフォルダーに移動します。注：Python 3ユーザーは、PY3フォルダーのピクルスを使用する必要があります。言語ファイルが読み込まれると、example-folder-stuctureのようになります。
4. ここでnltk_data、データが事前定義された検索パスのいずれにもない場合は、検索パスにフォルダーを追加する必要があります。環境変数を使用してデータを追加できますNLTK_DATA='path/to/your/nltk_data'。また、Pythonで実行時にカスタムパスを追加することもできます。

from nltk import data
data.path += ['/path/to/your/nltk_data']

注：実行時にデータをロードしたり、データをコードにバンドルしたりする必要がない場合は、nltkが検索する組み込みの場所にnltk_dataフォルダーを作成するのが最適です。

nltk.download()この問題は解決されません。以下を試してみましたが、うまくいきました：

で'...AppData\Roaming\nltk_data\tokenizers'、フォルダ、抽出物は、ダウンロードしたpunkt.zip同じ場所にフォルダを。

ではPython-3.6、トレースバックで提案を見ることができます。それは非常に役に立ちます。したがって、私はあなたが得たエラーに注意を払うようにあなたたちに言います、ほとんどの場合、答えはその問題の範囲内です;）。

そして、ここで他の人々が示唆しているようpython -c "import nltk; nltk.download('wordnet')"に、Pythonターミナルを使用するか、オンザフライでインストールできるようなコマンドを使用します。このコマンドを1回実行するだけで、データがローカルのホームディレクトリに保存されます。

割り当てられたフォルダーを複数のダウンロードに使用するときにも同様の問題があり、データパスを手動で追加する必要がありました。

単一のダウンロード、次のように達成できます（動作）

import os as _os
from nltk.corpus import stopwords
from nltk import download as nltk_download

nltk_download('stopwords', download_dir=_os.path.join(get_project_root_path(), 'temp'), raise_on_error=True)

stop_words: list = stopwords.words('english')

このコードは機能します。つまり、nltkはダウンロード機能で渡されたダウンロードパスを記憶しています。他のnadsでは、後続のパッケージをダウンロードすると、ユーザーが説明したのと同様のエラーが発生します。

複数ダウンロードするとエラーが発生します。

import os as _os

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

from nltk import download as nltk_download

nltk_download(['stopwords', 'punkt'], download_dir=_os.path.join(get_project_root_path(), 'temp'), raise_on_error=True)

print(stopwords.words('english'))
print(word_tokenize("I am trying to find the download path 99."))

エラー：

リソースパンクが見つかりません。リソースを取得するには、NLTKダウンローダーを使用してください。

インポートnltk nltk.download（ 'punkt'）

ここで、ダウンロードパスにntlkデータパスを追加すると、機能します。

import os as _os

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

from nltk import download as nltk_download
from nltk.data import path as nltk_path


nltk_path.append( _os.path.join(get_project_root_path(), 'temp'))


nltk_download(['stopwords', 'punkt'], download_dir=_os.path.join(get_project_root_path(), 'temp'), raise_on_error=True)

print(stopwords.words('english'))
print(word_tokenize("I am trying to find the download path 99."))

これは機能します...なぜ一方のケースでは機能するのかわからないのですが、エラーメッセージは、2回目にダウンロードフォルダーにチェックインしないことを示しているようです。注意：windows8.1 / python3.7 / nltk3.5を使用