ファイルの先頭からバイトを削除する最良の方法は？

今日、私は800MBの混合テキスト/バイナリファイルから最初の1131バイトを削除する必要がありました。これは、新しいリポジトリ用にハッキングしているフィルター処理されたSubversionダンプです。これを行う最良の方法は何ですか？

始めに私が試した

dd bs=1 skip=1131 if=filtered.dump of=trimmed.dump

しかし、スキップの後、これはファイルの残りを一度に1バイトずつコピーします。つまり、非常に遅いです。最終的には、これをスキップして512の3ブロックに丸めるために405バイトが必要でした

dd if=/dev/zero of=405zeros bs=1 count=405
cat 405zeros filtered.dump | dd bs=512 skip=3 of=trimmed.dump

どれがかなり早く完了しましたが、もっと簡単/より良い方法があったに違いありませんか？私が忘れていた別のツールはありますか？ありがとう！

bsを切り替えてオプションをスキップできます。

dd bs=1131 skip=1 if=filtered.dump of=trimmed.dump

このように、操作はより大きなブロックの恩恵を受けることができます。

そうでない場合は、tailを試すことができます（バイナリファイルで使用するのは安全ではありませんが）。

tail -c +1132 filtered.dump >trimmed.dump

最後に、3つのddインスタンスを使用して、次のように記述できます。

dd if=filtered.dump bs=512k | { dd bs=1131 count=1 of=/dev/null; dd bs=512k of=trimmed.dump; }

最初のddは、標準出力のfiltered.dumpを出力します。2つ目は1131バイトを読み取り、それらを破棄します。次に、最後の1つは、filtered.dumpの残りのバイトを標準入力から読み取り、それらをtrimmed.dumpに書き込みます。

いつskip_bytes追加されたかはわかりませんが、最初の11バイトをスキップするには次のようにします。

# echo {123456789}-abcdefgh- | 
                              dd bs=4096 skip=11 iflag=skip_bytes
-abcdefgh-
0+1 records in
0+1 records out
11 bytes (11 B) copied, 6.963e-05 s, 158 kB/s

where iflag=skip_bytesは、skipオプションの値をブロックではなくバイトとして解釈するようにddに指示します。

次のddようなサブシェルと2つの呼び出しを使用できます。

$ ( dd bs=1131 count=1 of=dev_null && dd bs=4K of=out.mp3 ) < 100827_MR029_LobbyControl.mp3
1+0 records in
1+0 records out
1131 bytes (1.1 kB) copied, 7.9691e-05 s, 14.2 MB/s
22433+1 records in
22433+1 records out
91886130 bytes (92 MB) copied, 0.329823 s, 279 MB/s
$ ls -l *
-rw------- 1 max users 91887261 2011-02-03 22:59 100827_MR029_LobbyControl.mp3
-rw-r--r-- 1 max users     1131 2011-02-03 23:04 dev_null
-rw-r--r-- 1 max users 91886130 2011-02-03 23:04 out.mp3
$ cat dev_null out.mp3 > orig
$ cmp 100827_MR029_LobbyControl.mp3 orig

ファイルシステムとLinuxカーネルがそれをサポートしているfallocate場合、変更をインプレースで行いたい場合に試すことができます：最良の場合、データIOはまったくありません：

$ fallocate <magic> -o 0 -l 1131 inplace.dump

where <magic>は、ファイルシステム、Linuxバージョン、およびファイルタイプによって異なります（FALLOC_FL_COLLAPSE_RANGEまたはFALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE内部で使用できます）。

あなたが使用する必要がありますcount=0-それはlseek()可能な限り簡単です。

このような：

{  dd bs=1131 skip=1 count=0; cat; } <filtered.dump >trimmed.dump

ddうlseek()1131バイトへの入力ファイル記述子はオフセットして、cat単純に出力に残っているものは何でもコピーします。

（ddまったく使用せずに）ファイルから先頭のバイトを削除するさらに別の方法は、xxdand sedまたはor を使用することtailです。

bytes=$((1131*2))

xxd -p -c 256 filtered.dump | tr -d '\n' | sed "s/^.\{0,${bytes}\}//" | xxd -r -p > trimmed.dump

bytes=$((bytes + 1)) 
xxd -p -c 256 filtered.dump | tr -d '\n' | tail -c +${bytes} | xxd -r -p > trimmed.dump

@maxschlepzigはオンラインライナーを要求します。perlに1つあります。2つの引数を取ります：バイトと長さから。入力ファイルは「<」で指定する必要があり、出力は標準出力になります。

perl -e 'sysseek(STDIN,shift,0) || die; $left = shift;
     while($read = sysread(STDIN,$buf, ($left > 32768 ? 32768 : $left))){
        $left -= $read; syswrite(STDOUT,$buf);
     }' 12345678901 19876543212 < bigfile > outfile

長さがファイルよりも長い場合、ファイルの残りの部分がコピーされます。

私のシステムでは、これは3.5 GB /秒を提供します。