「for line in…」の結果、UnicodeDecodeError： 'utf-8'コーデックはバイトをデコードできません

これが私のコードです、

for line in open('u.item'):
#read each line

このコードを実行すると、次のエラーが発生します。

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation byte

これを解決してopen（）にパラメーターを追加しようとすると、コードは次のようになります。

for line in open('u.item', encoding='utf-8'):
#read each line

ただし、同じエラーが発生します。それなら私は何をすべきか！助けてください。

Mark Ransomによって提案されたように、私はその問題に適したエンコーディングを見つけました。エンコーディングは「ISO-8859-1」だったので、に置き換えるopen("u.item", encoding="utf-8")とopen('u.item', encoding = "ISO-8859-1")問題が解決します。

ISO 8859-1は、主に音声認識APIを使用している場合、私にとっても効果的です。

例：

file = open('../Resources/' + filename, 'r', encoding="ISO-8859-1");

ファイルには実際にはutf-8でエンコードされたデータは含まれていません。他のエンコードが含まれています。そのエンコーディングが何であるかを理解し、それをopen呼び出しで使用します。

たとえば、Windows-1252エンコーディングで0xe9は、は文字になりéます。

パンダを使ってこれを読んでみてください

pd.read_csv('u.item', sep='|', names=m_cols , encoding='latin-1')

Python 2以下を使用している場合、解決策は次のとおりです。

import io
for line in io.open("u.item", encoding="ISO-8859-1"):
    # do something

encodingパラメータはでは機能しないためopen()、次のエラーが発生します。

TypeError： 'encoding'はこの関数の無効なキーワード引数です

次の方法で問題を解決できます。

for line in open(your_file_path, 'rb'):

「rb」はバイナリモードでファイルを読み込んでいます。詳細はこちら。これが役立つことを願っています！

これは機能します：

open('filename', encoding='latin-1')

または：

open('filename',encoding="IS0-8859-1")

誰かがこれらを探している場合、これはPython 3でCSVファイルを変換する例です。

try:
    inputReader = csv.reader(open(argv[1], encoding='ISO-8859-1'), delimiter=',',quotechar='"')
except IOError:
    pass

時にはときopen(filepath)ここでfilepath、実際にはないファイルが存在して開こうとしていることを確認ファイルを作成するので、まず、同じエラーが出るでしょう：

import os
assert os.path.isfile(filepath)

これがお役に立てば幸いです。

あなたはこの方法を試すことができます：

open('u.item', encoding='utf8', errors='ignore')