UnicodeDecodeError： 'ascii'コーデックは位置2のバイト0xd1をデコードできません：序数が範囲（128）にありません

非標準の文字が含まれている非常に大きなデータセットを操作しようとしています。ジョブの仕様に従って、Unicodeを使用する必要がありますが、困惑しています。（そして、おそらくそれをすべて間違っている。）

私は次を使用してCSVを開きます：

 15     ncesReader = csv.reader(open('geocoded_output.csv', 'rb'), delimiter='\t', quotechar='"')

次に、それを次のようにエンコードしようとします。

name=school_name.encode('utf-8'), street=row[9].encode('utf-8'), city=row[10].encode('utf-8'), state=row[11].encode('utf-8'), zip5=row[12], zip4=row[13],county=row[25].encode('utf-8'), lat=row[22], lng=row[23])

APIに送信する必要があるため、latとlng以外のすべてをエンコードしています。プログラムを実行してデータセットを解析して使用可能なものにすると、次のトレースバックが得られます。

Traceback (most recent call last):
  File "push_into_db.py", line 80, in <module>
    main()
  File "push_into_db.py", line 74, in main
    district_map = buildDistrictSchoolMap()
  File "push_into_db.py", line 32, in buildDistrictSchoolMap
    county=row[25].encode('utf-8'), lat=row[22], lng=row[23])
UnicodeDecodeError: 'ascii' codec can't decode byte 0xd1 in position 2: ordinal not in range(128)

私はpython 2.7.2を使用していることをお伝えしたいと思います。これはdjango 1.4でビルドされたアプリの一部です。私はこのトピックに関するいくつかの投稿を読みましたが、それらのどれも直接当てはまらないようです。どんな助けでも大歓迎です。

また、問題の原因となっている非標準文字の一部がÑであり、場合によってはÉであることも知りたい場合があります。

UnicodeはUTF-8とは異なります。後者は前者の単なるエンコーディングです。

あなたはそれを間違った方法でやっています。あなたはされて読んで UTF-8 エンコードされたあなたがしなければならないので、データをデコードするユニコード文字列にUTF-8でエンコードされた文字列を。

だから置き換え.encodeて.decode（あなたの.CSVがUTF-8でエンコードされている場合）、およびそれが動作するはずです。

恥ずかしいことは何もありません。私は5人に3人のプログラマが最初はこれを理解するのに苦労したに違いない;）

更新：入力データがUTF-8エンコードされていない場合は.decode()、もちろん適切なエンコードにする必要があります。何も指定されていない場合、PythonはASCIIを想定します。これは明らかに非ASCII文字では失敗します。

この行をコードに追加してください：

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

Python 3ユーザー向け。できるよ

with open(csv_name_here, 'r', encoding="utf-8") as f:
    #some codes

フラスコでも動作します:)

エラーの主な理由は、Pythonが想定するデフォルトのエンコーディングがASCIIであることです。したがって、エンコード対象の文字列データにencode('utf8')ASCII範囲外の文字が含まれている場合（たとえば、 'hgvcj터파크387'のような文字列の場合）、文字列が予期されるエンコード形式ではないため、Pythonはエラーをスローします。

バージョン3.5より前のPythonバージョンを使用している場合、信頼できる修正は、Pythonが想定するデフォルトのエンコーディングを次のように設定することですutf8。

import sys
reload(sys)
sys.setdefaultencoding('utf8')
name = school_name.encode('utf8')

このように、PythonはASCII範囲外の文字列内の文字を予測できます。

ただし、Pythonバージョン3.5以降を使用している場合、reload（）関数は使用できないため、decode egを使用して修正する必要があります。

name = school_name.decode('utf8').encode('utf8')

Python 3ユーザーの場合：

エンコーディングを「ascii」から「latin1」に変更すると機能します。

また、以下のスニペットを使用して上位10000バイトを読み取ることにより、エンコーディングを自動的に見つけることもできます。

import chardet  
with open("dataset_path", 'rb') as rawdata:  
            result = chardet.detect(rawdata.read(10000))  
print(result)

コンピュータに間違ったロケールが設定されていました。

私が最初にやった

>>> import locale
>>> locale.getpreferredencoding(False)
'ANSI_X3.4-1968'

locale.getpreferredencoding(False)open()エンコーディングを指定しない場合に呼び出される関数です。出力はになります'UTF-8'が、この場合は、ASCIIのバリアントです。

次に、bashコマンドを実行して、localeこの出力を取得しました

$ locale
LANG=
LANGUAGE=
LC_CTYPE="POSIX"
LC_NUMERIC="POSIX"
LC_TIME="POSIX"
LC_COLLATE="POSIX"
LC_MONETARY="POSIX"
LC_MESSAGES="POSIX"
LC_PAPER="POSIX"
LC_NAME="POSIX"
LC_ADDRESS="POSIX"
LC_TELEPHONE="POSIX"
LC_MEASUREMENT="POSIX"
LC_IDENTIFICATION="POSIX"
LC_ALL=

そのため、デフォルトのUbuntuロケールを使用していたため、PythonはファイルをUTF-8ではなくASCIIとして開きました。私がしなければならなかった私のロケールを設定しますen_US.UTF-8

sudo apt install locales 
sudo locale-gen en_US en_US.UTF-8    
sudo dpkg-reconfigure locales

システム全体でロケールを変更できない場合は、次のようにすべてのPythonコードを呼び出すことができます。

PYTHONIOENCODING="UTF-8" python3 ./path/to/your/script.py

またはする

export PYTHONIOENCODING="UTF-8"

それを実行するシェルに設定します。

証明書の作成または更新中にcertbotを実行中にこの問題が発生した場合は、次の方法を使用してください

grep -r -P '[^\x00-\x7f]' /etc/apache2 /etc/letsencrypt /etc/nginx

このコマンドは、コメント内の1つの.confファイルで問題のある文字「 ´」を見つけました。それを削除し（コメントを好きなように編集できます）、nginxを再ロードすると、すべてが再び機能します。

ソース：https : //github.com/certbot/certbot/issues/5236

または、Unicodeテキストの場合、Pythonでテキストを処理するときは、Unicodeであることに注意してください。

text=u'unicode text'代わりに単に設定してくださいtext='unicode text'。

これは私の場合にはうまくいきました。

緯度と経度が長いため、エンコーディングはUTF 16で開きます。

with open(csv_name_here, 'r', encoding="utf-16") as f:

これは、「r」読み取りではなく「rb」読み取りバイナリを引数として取るだけで機能します。