UnicodeDecodeError： 'utf8'コーデックはバイト0x9cをデコードできません

クライアントからUTF-8の有効な文字を受け取ることになっているソケットサーバーがあります。

問題は、一部のクライアント（主にハッカー）が間違った種類のデータをすべて送信していることです。

私は本物のクライアントを簡単に区別できますが、送信したすべてのデータをファイルに記録しているので、後で分析できます。

このようなエラーœが発生することがありUnicodeDecodeErrorます。

これらの文字の有無にかかわらず、文字列UTF-8を作成できるようにする必要があります。

更新：

私の特定のケースでは、ソケットサービスはMTAだったため、次のようなASCIIコマンドのみを受信することを期待しています。

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

これらすべてをJSONでログに記録していました。

その後、善意のない人々が、あらゆる種類のジャンクを売ることに決めました。

そのため、私の特定のケースでは、非ASCII文字を削除しても問題ありません。

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

または

str = unicode(str, errors='ignore')

注： これにより、問題の文字が取り除かれ（無視され）、文字のない文字列が返されます。

私のアプリケーションでは許可されていない非ASCII入力に対する保護として使用しているので、これは理想的なケースです。

または、codecsモジュールのopenメソッドを使用してファイルを読み取ります。

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

エンジンをCからPythonに変更すると、うまくいきました。

エンジンはC：

pd.read_csv(gdp_path, sep='\t', engine='c')

'utf-8'コーデックは位置18のバイト0x92をデコードできません：無効な開始バイト

エンジンはPythonです。

pd.read_csv(gdp_path, sep='\t', engine='python')

エラーはありません。

Python 3に移行したため、この種の問題が発生しました。Python2がファイルエンコーディングの問題を単純に処理するだけだとは思いませんでした。

上記のいずれもうまくいかなかったので、違いと解決策を見つける方法のこの素晴らしい説明を見つけました。

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

つまり、Python 3をPython 2と可能な限り同じように動作させるには、次のコマンドを使用します。

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

ただし、記事を読んでください。すべてのソリューションに適したサイズはありません。

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

私は同じ問題を抱えていましたがUnicodeDecodeError、この行で解決しました。が最善の方法かどうかはわかりませんが、私にとってはうまくいきました。

str = str.decode('unicode_escape').encode('utf-8')

最初に、get_encoding_typeを使用してエンコードのファイルタイプを取得します。

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

2番目は、次のタイプのファイルを開きます。

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

誰かが同じ問題を抱えている場合に備えて。YouCompleteMeでvimを使用していますが、次のエラーメッセージでycmdを開始できませんでしexport LC_CTYPE="en_US.UTF-8"た。問題は解消されました。

ファイルに変更を加える必要があるが、ファイルのエンコーディングがわからない場合はどうすればよいですか。エンコーディングがASCII互換であることがわかっていて、ASCII部分のみを調べたり変更したい場合は、surrogateescapeエラーハンドラーでファイルを開くことができます。

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

追加するだけでこの問題を解決しました

df = pd.read_csv(fileName,encoding='latin1')