非常に大きなテキストファイルの最後の2行を効率的に削除する


31

非常に大きなファイル(約400 GB)があり、最後の2行を削除する必要があります。を使用しようとしましsedたが、何時間も実行してからbeforeめました。これを行う簡単な方法はありsedますか?


6
GNU headを試してみることができます。head -n -2 file
user31894

回答:


31

私は、それがどれほど速いかを確認するために大きなファイルでこれを試していませんが、かなり速いはずです。

スクリプトを使用してファイルの末尾から行を削除するには:

./shorten.py 2 large_file.txt

ファイルの最後までシークし、最後の文字が改行であることを確認してから、3文字の改行が見つかるまで逆方向に各文字を1つずつ読み取り、そのポイントの直後でファイルを切り捨てます。変更はその場で行われます。

編集:下部にPython 2.4バージョンを追加しました。

Python 2.5 / 2.6のバージョンは次のとおりです。

#!/usr/bin/env python2.5
from __future__ import with_statement
# also tested with Python 2.6

import os, sys

if len(sys.argv) != 3:
    print sys.argv[0] + ": Invalid number of arguments."
    print "Usage: " + sys.argv[0] + " linecount filename"
    print "to remove linecount lines from the end of the file"
    exit(2)

number = int(sys.argv[1])
file = sys.argv[2]
count = 0

with open(file,'r+b') as f:
    f.seek(0, os.SEEK_END)
    end = f.tell()
    while f.tell() > 0:
        f.seek(-1, os.SEEK_CUR)
        char = f.read(1)
        if char != '\n' and f.tell() == end:
            print "No change: file does not end with a newline"
            exit(1)
        if char == '\n':
            count += 1
        if count == number + 1:
            f.truncate()
            print "Removed " + str(number) + " lines from end of file"
            exit(0)
        f.seek(-1, os.SEEK_CUR)

if count < number + 1:
    print "No change: requested removal would leave empty file"
    exit(3)

Python 3バージョンは次のとおりです。

#!/usr/bin/env python3.0

import os, sys

if len(sys.argv) != 3:
    print(sys.argv[0] + ": Invalid number of arguments.")
    print ("Usage: " + sys.argv[0] + " linecount filename")
    print ("to remove linecount lines from the end of the file")
    exit(2)

number = int(sys.argv[1])
file = sys.argv[2]
count = 0

with open(file,'r+b', buffering=0) as f:
    f.seek(0, os.SEEK_END)
    end = f.tell()
    while f.tell() > 0:
        f.seek(-1, os.SEEK_CUR)
        print(f.tell())
        char = f.read(1)
        if char != b'\n' and f.tell() == end:
            print ("No change: file does not end with a newline")
            exit(1)
        if char == b'\n':
            count += 1
        if count == number + 1:
            f.truncate()
            print ("Removed " + str(number) + " lines from end of file")
            exit(0)
        f.seek(-1, os.SEEK_CUR)

if count < number + 1:
    print("No change: requested removal would leave empty file")
    exit(3)

Python 2.4バージョンは次のとおりです。

#!/usr/bin/env python2.4

import sys

if len(sys.argv) != 3:
    print sys.argv[0] + ": Invalid number of arguments."
    print "Usage: " + sys.argv[0] + " linecount filename"
    print "to remove linecount lines from the end of the file"
    sys.exit(2)

number = int(sys.argv[1])
file = sys.argv[2]
count = 0
SEEK_CUR = 1
SEEK_END = 2

f = open(file,'r+b')
f.seek(0, SEEK_END)
end = f.tell()

while f.tell() > 0:
    f.seek(-1, SEEK_CUR)
    char = f.read(1)
    if char != '\n' and f.tell() == end:
        print "No change: file does not end with a newline"
        f.close()
        sys.exit(1)
    if char == '\n':
        count += 1
    if count == number + 1:
        f.truncate()
        print "Removed " + str(number) + " lines from end of file"
        f.close()
        sys.exit(0)
    f.seek(-1, SEEK_CUR)

if count < number + 1:
    print "No change: requested removal would leave empty file"
    f.close()
    sys.exit(3)

私たちのシステムはpython 2.4を実行しており、私たちのサービスのいずれかがそれに依存しているかどうかはわかりませんが、これで動作しますか?
ラスブラッドベリー

@Russ:Python 2.4のバージョンを追加しました。
追って通知があるまで一時停止します。

1
本当にすばらしいです!魅力のように、1秒もかからずに働きました!
ラスブラッドベリー

12

GNU headを試すことができます

head -n -2 file

シンプルなので最適なソリューションです。
シャオ

1
これも私のシステムでは動作しません彼のfile..anからそれらを削除する彼に、ファイルの最後の2行を表示しませんがhead: illegal line count -- -2
SooDesuNe

2
@SooDesuNe:いいえ、マニュアルに従って、最初から最後の2行までのすべての行を印刷します。ただし、これはファイルにリダイレクトする必要があり、このファイルが巨大であるという問題があるため、この問題の完全な解決策ではありません。
ダニエルアンダーソン

+1なぜこれが正しい答えとして受け入れられないのですか?高速でシンプルで、期待どおりに機能します。
aefxx

6
@PetrMarekその他:問題は巨大なファイルに関することでした。このソリューションでは、ファイル全体をパイプ経由で供給し、すべてのデータを新しい場所に書き換える必要があります。問題の全体的なポイントは、それを回避することです。受け入れられた回答のような、インプレースソリューションが必要です。
ダニエルアンダーソン

7

Debian Squeeze / testingシステム(Lenny / stableを除く)には、「coreutils」パッケージの一部として「truncate」コマンドが含まれています。

それを使えば、次のようなことができます。

truncate --size=-160 myfile

ファイルの末尾から160バイトを削除するには(明らかに、削除する必要がある文字数を正確に把握する必要があります)。


これは、ファイルをインプレースで変更するため、最速のルートになります。したがって、ファイルのコピーも解析も必要ありません。ただし、削除するバイト数を確認する必要があります... I / guess /簡単なddスクリプトで実行できます(入力オフセットを指定して、最後のキロバイトを取得してからtail -2 | LANG= wc -c、またはそのようなsthを使用する必要があります)。
リオリ

私はCentOSを使用しているので、切り捨てはありません。しかし、これはまさに私が探しているものです。
ラスブラッドベリー

tailまた、大きなファイルに対しても効率的ですtail | wc -c。トリミングするバイト数の計算に使用できます。
krlmlr

6

sedの問題は、それがストリームエディタであるということです。最後の近くでのみ変更を加えたい場合でも、ファイル全体を処理します。だから、あなたは新しい400GBファイルを1行ずつ作成しています。ファイル全体を操作するエディターには、おそらくこの問題があります。

行数がわかっている場合は、を使用できますheadが、既存のファイルを変更せずに新しいファイルを作成します。アクションのシンプルさから速度が向上するかもしれません。

あなたは可能性が使用して、より良い運を持ってsplit、小さな部分にファイルを分割する最後のものを編集して、使用してcatそれらを再び結合するが、それはどんな良くなるかどうかはわかりません。行ではなくバイトカウントを使用します。そうしないと、おそらくまったく高速になりません。新しい400GBファイルを作成することになります。


2

VIMを試してみてください...このような大きなファイルで使用したことがないので、うまくいくかどうかはわかりませんが、過去に小さなファイルで使用したことがあります。


vimは、編集時にバッファーのすぐ近くにあるもののみをロードすると考えていますが、どのように保存するのかわかりません。
-Phoshi

ファイルを読み込もうとするとvimがハングする
ラスブラッドベリー

ハングした場合は、それを待ってください。読み込みを開始し、仕事に行き、帰宅し、完了したかどうかを確認します。
leeand00

2
こちらをご覧ください:stackoverflow.com/questions/159521/…–
leeand00

1

どのような種類のファイルですか?Perlのようなものは、テキスト、グラフィックス、バイナリーなどのファイルの種類に応じて使いやすいかもしれません。どのようにフォーマットされていますか-CSV、TSV ...


パイプで区切られたテキストにフォーマットされていますが、最後の2行はそれぞれインポートを中断する1列なので、削除する必要があります
ラスブラッドベリー

このケースに対処するための「インポート」がオプションを修正しているのでしょうか?
ティムデイ

いいえ、インポートはinfobrightの「ロードデータインファイル」です
ラスブラッドベリー

1

ファイルのサイズがバイト(400000000160と言う)までわかっていて、最後の2行を削除するためにちょうど160文字を削除する必要があることがわかっている場合は、

dd if=originalfile of=truncatedfile ibs=1 count=400000000000

トリックを行う必要があります。私が怒りでddを使用して以来、それは時代です。大きなブロックサイズを使用すると高速化することを覚えているようですが、それができるかどうかは、ドロップする行が適切な倍数であるかどうかによって異なります。

ddには、予備のパスとして役立つ可能性のある固定サイズにテキストレコードをパディングする他のオプションがあります。


私はこれを試しましたが、sedとほぼ同じ速度で行っていました。10分で約200MBを書き込みましたが、この速度では文字通り数百時間かかります。
ラスブラッドベリー

1

システムで「truncate」コマンドが使用できない場合(他の答えを参照)、システムコールの「man 2 truncate」を見て、ファイルを指定の長さに切り捨てます。

明らかに、ファイルを切り捨てるのに必要な文字数を知る必要があります(サイズから問題の2行の長さを引いたもの。cr/ lf文字を数えることを忘れないでください)。

これを試す前にファイルのバックアップを作成してください!


1

UNIXスタイルのソリューションを好む場合は、3行のコードを使用して保存およびインタラクティブな行の切り捨てを行うことができます(MacおよびLinuxでテスト済み)。

小さい+安全なUNIXスタイルの行の切り捨て(確認を求めます):

n=2; file=test.csv; tail -n $n $file &&
read -p "truncate? (y/N)" -n1 key && [ "$key" == "y" ] &&
perl -e "truncate('$file', `wc -c <$file` - `tail -n $n $file | wc -c` )"

このソリューションは、いくつかの一般的なunix-toolsに依存していますが、すべてのシステムで利用できるわけではない、のperl -e "truncate(file,length)"最も近い代替としてtruncate(1)使用しています。

また、次の包括的な再利用可能なシェルプログラムを使用することもできます。これは、使用情報を提供し、切り捨ての確認、オプションの解析、およびエラー処理を備えています。

包括的な行切り捨てスクリプト

#!/usr/bin/env bash

usage(){
cat <<-EOF
  Usage:   $0 [-n NUM] [-h] FILE
  Options:
  -n NUM      number of lines to remove (default:1) from end of FILE
  -h          show this help
EOF
exit 1
}

num=1

for opt in $*; do case $opt in
  -n) num=$2;                 shift;;
  -h) usage;                  break;;
  *)  [ -f "$1" ] && file=$1; shift;;
esac done

[ -f "$file" ] || usage

bytes=`wc -c <$file`
size=`tail -n $num $file | wc -c`

echo "using perl 'truncate' to remove last $size of $bytes bytes:"
tail -n $num $file
read -p "truncate these lines? (y/N)" -n1 key && [ "$key" == "y" ] &&
perl -e "truncate('$file', $bytes - $size )"; echo ""
echo "new tail is:"; tail $file

以下に使用例を示します。

$ cat data/test.csv
1 nice data
2 cool data
3 just data

GARBAGE to be removed (incl. empty lines above and below)

$ ./rmtail.sh -n 3 data/test.csv
using perl 'truncate' to remove last 60 of 96 bytes:

GARBAGE to be removed (incl. empty lines above and below)

truncate these lines? (y/N)y
new tail is:
1 nice data
2 cool data
3 just data
$ cat data/test.csv
1 nice data
2 cool data
3 just data

0
#!/ bin / sh

ed "$ 1" <<こちら
$
d
d
w
ここに

変更は適切に行われます。これは、pythonスクリプトよりも簡単で効率的です。


私のシステムでは、100万行で57MBを超えるテキストファイルを使用すると、ed実行にPythonスクリプトの100倍の時間がかかりました。7000倍の大きさのOPのファイルの違いがどれだけ大きいか想​​像することができます。
追って通知があるまで一時停止します。

0

同様の問題を解決するために受け入れられた答えを修正しました。n行を削除するために少し調整できます。

import os

def clean_up_last_line(file_path):
    """
    cleanup last incomplete line from a file
    helps with an unclean shutdown of a program that appends to a file
    if \n is not the last character, remove the line
    """
    with open(file_path, 'r+b') as f:
        f.seek(0, os.SEEK_END)

        while f.tell() > 0: ## current position is greater than zero
            f.seek(-1, os.SEEK_CUR)

            if f.read(1) == '\n':
                f.truncate()
                break

            f.seek(-1, os.SEEK_CUR) ## don't quite understand why this has to be called again, but it doesn't work without it

対応するテスト:

import unittest

class CommonUtilsTest(unittest.TestCase):

    def test_clean_up_last_line(self):
        """
        remove the last incomplete line from a huge file
        a line is incomplete if it does not end with a line feed
        """
        file_path = '/tmp/test_remove_last_line.txt'

        def compare_output(file_path, file_data, expected_output):
            """
            run the same test on each input output pair
            """
            with open(file_path, 'w') as f:
                f.write(file_data)

            utils.clean_up_last_line(file_path)

            with open(file_path, 'r') as f:
                file_data = f.read()
                self.assertTrue(file_data == expected_output, file_data)        

        ## test a multiline file
        file_data = """1362358424445914,2013-03-03 16:53:44,34.5,151.16345879,b
1362358458954466,2013-03-03 16:54:18,34.5,3.0,b
1362358630923094,2013-03-03 16:57:10,34.5,50.0,b
136235"""

        expected_output = """1362358424445914,2013-03-03 16:53:44,34.5,151.16345879,b
1362358458954466,2013-03-03 16:54:18,34.5,3.0,b
1362358630923094,2013-03-03 16:57:10,34.5,50.0,b
"""        
        compare_output(file_path, file_data, expected_output)

        ## test a file with no line break
        file_data = u"""1362358424445914,2013-03-03 16:53:44,34.5,151.16345879,b"""
        expected_output = "1362358424445914,2013-03-03 16:53:44,34.5,151.16345879,b"
        compare_output(file_path, file_data, expected_output)

        ## test a file a leading line break
        file_data = u"""\n1362358424445914,2013-03-03 16:53:44,34.5,151.16345879,b"""
        expected_output = "\n"
        compare_output(file_path, file_data, expected_output)

        ## test a file with one line break
        file_data = u"""1362358424445914,2013-03-03 16:53:44,34.5,151.16345879,b\n""" 
        expected_output = """1362358424445914,2013-03-03 16:53:44,34.5,151.16345879,b\n""" 
        compare_output(file_path, file_data, expected_output)

        os.remove(file_path)


if __name__ == '__main__':
    unittest.main()

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.