Pythonで単語が英語の単語かどうかを確認する方法

単語が英語の辞​​書にあるかどうかをPythonプログラムでチェックしたい。

nltk wordnetインターフェースが適切な方法であると思いますが、そのような単純なタスクでそれを使用する方法はわかりません。

def is_english_word(word):
    pass # how to I implement is_english_word?

is_english_word(token.lower())

将来的には、単語の単数形が辞書にあるかどうかを確認する必要があるかもしれません（たとえば、プロパティ->プロパティ->英語の単語）。どうすればそれを達成できますか？

より多くのパワーと柔軟性を得るには、などの専用のスペルチェックライブラリを使用しPyEnchantます。チュートリアルがあります、またはあなたはすぐに飛び込むことができます：

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>

PyEnchantにはいくつかの辞書（en_GB、en_US、de_DE、fr_FR）が付属していますが、より多くの言語が必要な場合は、任意のOpenOffice辞書を使用できます。

と呼ばれる複数形ライブラリinflectがあるようですが、それが良いかどうかはわかりません。

WordNetにはすべての英語の単語が含まれているわけではないため、WordNetではうまく機能しません。エンチャントなしのNLTKに基づく別の可能性は、NLTKの単語コーパスです

>>> from nltk.corpus import words
>>> "would" in words.words()
True
>>> "could" in words.words()
True
>>> "should" in words.words()
True
>>> "I" in words.words()
True
>>> "you" in words.words()
True

NLTKの使用：

from nltk.corpus import wordnet

if not wordnet.synsets(word_to_test):
  #Not an English Word
else:
  #English Word

wordnetのインストールに問題がある場合、または他の方法を試したい場合は、この記事を参照してください。

セットを使用して単語リストを格納すると、検索が高速になります。

with open("english_words.txt") as word_file:
    english_words = set(word.strip().lower() for word in word_file)

def is_english_word(word):
    return word.lower() in english_words

print is_english_word("ham")  # should be true if you have a good english_words.txt

質問の2番目の部分に答えるには、複数形は既に良い単語リストにありますが、何らかの理由でリストからそれらを明確に除外したい場合は、それを処理する関数を実際に作成できます。しかし、英語の複数形化の規則は、私が最初に単語リストに複数形を含めるだけで十分にトリッキーです。

英語の単語リストを見つける場所については、グーグル検索するだけで「英語の単語リスト」をいくつか見つけました。ここに1つあります：http : //www.sil.org/linguistics/wordlists/english/wordlist/wordsEn.txt これらの方言の1つを具体的に必要とする場合は、イギリス英語またはアメリカ英語でGoogleを使用できます。

より高速なNLTKベースのソリューションでは、単語のセットをハッシュして線形検索を回避できます。

from nltk.corpus import words as nltk_words
def is_english_word(word):
    # creation of this dictionary would be done outside of 
    #     the function because you only need to do it once.
    dictionary = dict.fromkeys(nltk_words.words(), None)
    try:
        x = dictionary[word]
        return True
    except KeyError:
        return False

この問題を解決するための3つのパッケージベースのソリューションがあることがわかりました。それらは、pyenchant、wordnet、およびコーパスです（自己定義またはntlkから）。Pyenchantはpy3のあるwin64に簡単にインストールできませんでした。コーパスが完全ではないため、Wordnetはうまく機能しません。したがって、私は@Sadikで回答されたソリューションを選択し、高速化するために「set（words.words（））」を使用します。

最初：

pip3 install nltk
python3

import nltk
nltk.download('words')

次に：

from nltk.corpus import words
setofwords = set(words.words())

print("hello" in setofwords)
>>True

pyEnchant.checker SpellCheckerを使用：

from enchant.checker import SpellChecker

def is_in_english(quote):
    d = SpellChecker("en_US")
    d.set_text(quote)
    errors = [err.word for err in d]
    return False if ((len(errors) > 4) or len(quote.split()) < 3) else True

print(is_in_english('“办理美国加州州立大学圣贝纳迪诺分校高仿成绩单Q/V2166384296加州州立大学圣贝纳迪诺分校学历学位认证'))
print(is_in_english('“Two things are infinite: the universe and human stupidity; and I\'m not sure about the universe.”'))

> False
> True

セマンティックWebアプローチの場合、RDF形式でWordNetに対してsparqlクエリを実行できます。基本的には、urllibモジュールを使用してGETリクエストを発行し、結果をJSON形式で返し、Python 'json'モジュールを使用して解析します。英語の単語でない場合、結果は得られません。

別のアイデアとして、ウィクショナリーのAPIを照会することができます。

すべてのLinux / Unixユーザー向け

OSがLinuxカーネルを使用している場合、英語/アメリカの辞書からすべての単語を取得する簡単な方法があります。ディレクトリ/usr/share/dictにはwordsファイルがあります。より具体的なファイルもamerican-englishありbritish-englishます。これらには、その特定の言語のすべての単語が含まれています。すべてのプログラミング言語でこれにアクセスできます。そのため、これについて知りたいと思ったのです。

これで、Python固有のユーザーの場合、以下のPythonコードは、リストの単語を割り当てて、すべての単語の値を持つようにする必要があります。

import re
file = open("/usr/share/dict/words", "r")
words = re.sub("[^\w]", " ",  file.read()).split()

def is_word(word):
    return word.lower() in words

is_word("tarts") ## Returns true
is_word("jwiefjiojrfiorj") ## Returns False

お役に立てれば！！！