CSVリーダー（Python）の「行にNULLバイトが含まれています」

.CSVファイル（input.csv）を調べ、テキストファイル（output.txt）にリストされているように、特定の要素（corrected.csv）で始まる行のみを書き換えるプログラムを作成しようとしています。

これは私のプログラムが今どのように見えるかです：

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

残念ながら、私はこのエラーを繰り返し発生し、それが何であるかわかりません。

Traceback (most recent call last):
  File "C:\Python32\Sample Program\csvParser.py", line 12, in <module>
    for row in reader:
_csv.Error: line contains NULL byte

私をこの点に到達させるためにさえ、ここにいるすべての人々の功績です。

私はより簡単な解決策で同様の問題を解決しました：

import codecs
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16'))

重要なのは、コーデックモジュールを使用してUTF-16エンコーディングでファイルを開くことでした。エンコーディングは他にもたくさんあります。ドキュメントを確認してください。

input.csvにNULバイトがあると思います。あなたはそれをテストすることができます

if '\0' in open('input.csv').read():
    print "you have null bytes in your input file"
else:
    print "you don't"

もしあなたがそうするなら、

reader = csv.reader(x.replace('\0', '') for x in mycsv)

それを回避するかもしれません。または、.csvファイルにutf16または「興味深い」ものがあることを示している可能性があります。

nullを何かに置き換えたい場合は、次のようにします。

def fix_nulls(s):
    for line in s:
        yield line.replace('\0', ' ')

r = csv.reader(fix_nulls(open(...)))

null値が存在しないふりをしたい場合は、ジェネレーターをインライン化してnull値をフィルターで除外することができます。もちろん、これは、ヌルバイトが実際にはエンコーディングの一部ではなく、実際にはある種の誤ったアーティファクトまたはバグであると想定しています。

(line.replace('\0','') for line in f)以下を参照してください。また、モードを使用してそのファイルを開くこともできます。rb。また。

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'rb') as mycsv:
        reader = csv.reader( (line.replace('\0','') for line in mycsv) )
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

これにより、問題のある行がわかります。

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        try:
            for i, row in enumerate(reader):
                if row[0] not in lines:
                   writer.writerow(row)
        except csv.Error:
            print('csv choked on line %s' % (i+1))
            raise

おそらくこれはdaniwebから役立つでしょう：

csvファイルから読み取るときに次のエラーが発生します：「ランタイムエラー！行にNULLバイトが含まれています」。このエラーの根本原因について何か考えはありますか？

..。

はい、わかりました。解決策を投稿すると思いました。単にまだ私に悲しみを引き起こしました...使用されたファイルは.csvの代わりに.xls形式で保存されましたタイプがまだ.xlsであったのにファイル名自体が.csv拡張子を持っていたのでこれをキャッチしませんでした

トリッキーな方法：

Lunuxで開発する場合は、sedのすべての機能を使用できます。

from subprocess import check_call, CalledProcessError

PATH_TO_FILE = '/home/user/some/path/to/file.csv'

try:
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True)
except CalledProcessError as err:
    print(err)    

巨大なファイルのための最も効率的なソリューション。

Python3、Kubuntuをチェック

私は最近この問題を修正しました、そして私の例ではそれは私が読み込もうとしていた圧縮されたファイルでした。最初にファイル形式を確認してください。次に、内容が拡張機能が参照しているものであることを確認します。

私のLinux環境をクリーンで完全なUTF-8環境に変えることは、私にとってトリックでした。コマンドラインで次のことを試してください。

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

これは長い間解決されましたが、KerasとTensorFlowでトレーニングデータとして処理するCSVを読み取っているときに予期しないエラーが発生したため、この回答に遭遇しました。

私の場合、問題ははるかに単純であり、意識する価値があります。CSVに生成されるデータに一貫性がなく、一部の列が完全に欠落しているため、このエラーもスローされるようです。

レッスン：このエラーが表示された場合は、データが思ったとおりに表示されていることを確認してください。

pandas.read_csvは、読み取り/書き込み時に異なるUTFエンコーディングを処理するようになったため、nullバイトを直接処理できます。

data = pd.read_csv(file, encoding='utf-16')

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.htmlを参照してください