bash / sedスクリプトを使用してテキストファイルの最初の行を削除するにはどうすればよいですか？

bashスクリプトを使用して、巨大なテキストファイルから最初の行を繰り返し削除する必要があります。

現在使用していますsed -i -e "1d" $FILE-削除には1分程度かかります。

これを達成するためのより効率的な方法はありますか？

尾を試してください：

tail -n +2 "$FILE"

-n x：最後のx行を印刷します。tail -n 5入力の最後の5行が表示されます。+一種の符号は引数を逆にしtail、最初のx-1行以外のものを出力させます。tail -n +1ファイル全体tail -n +2、最初の行以外すべてを印刷します。

GNUはよりtailもはるかに高速ですsed。tailBSDでも利用可能で、-n +2フラグは両方のツールで一貫しています。詳細については、FreeBSDまたはOS Xのマニュアルページを確認してください。

sedただし、BSDのバージョンは、よりも遅くなる可能性があります。彼らはどうやってそれを管理したのだろう。スクリプトを解釈したり、正規表現を適用したりするなど、かなり複雑な操作を行いtailながら、ファイルを1行ずつ読み取る必要がありますsed。

注：使いたくなるかもしれません

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

しかし、これはあなたに空のファイルを与えるでしょう。その理由は、リダイレクト（>）がtailシェルによって呼び出される前に発生するためです。

1. シェルはファイルを切り捨てます $FILE
2. シェルは新しいプロセスを作成します tail
3. シェルはtailプロセスのstdoutをにリダイレクトします$FILE
4. tail 今は空から読む $FILE

ファイル内の最初の行を削除する場合は、次を使用する必要があります。

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

&&問題がある場合、ファイルが上書きされないことを確認します。

-iを使用すると、「>」演算子を使用せずにファイルを更新できます。次のコマンドは、ファイルから最初の行を削除し、ファイルに保存します。

sed -i '1d' filename

非GNUであるSunOSを使用している人のために、次のコードが役立ちます：

sed '1d' test.dat > tmp.dat 

いいえ、それはあなたが得ようとしているのと同じくらい効率的です。あなたは少し速く（起動時間と処理引数が少ない）仕事をすることができるCプログラムを書くことができますが、おそらくファイルが大きくなるにつれてsedと同じ速度になる傾向があります（そして、私はそれが1分かかる場合は大きいと思います） ）。

しかし、あなたの質問は、それが解決策を前提としているという点で、他の多くの問題と同じ問題に悩まされています。方法ではなく、何をしようとしているのかを詳しく教えていただければ、より適切なオプションを提案できる可能性があります。

たとえば、これが他のプログラムBが処理するファイルAである場合、1つの解決策は、最初の行を削除せずに、プログラムBを変更して別の方法で処理することです。

すべてのプログラムがこのファイルAに追加し、プログラムBが現在、最初の行を読み取って処理してから削除するとします。

プログラムBを再設計して、最初の行を削除しようとせずに、ファイルAへの永続的な（おそらくファイルベースの）オフセットを維持して、次に実行したときに、そのオフセットにシークすることができるようにします。そこの行、そしてオフセットを更新します。

次に、静かな時間（真夜中？）に、ファイルAの特別な処理を行って、現在処理されているすべての行を削除し、オフセットを0に戻します。

プログラムがファイルを開いて書き換えるよりも、ファイルを開いてシークする方が確かに高速です。この説明では、もちろんプログラムBを制御できることを前提としています。それが事実であるかどうかはわかりませんが、さらに情報を提供すると、他の解決策が考えられる場合があります。

次のように、perlのフラグを使用するだけでファイルを編集できます-i。

perl -ni -e 'print unless $. == 1' filename.txt

これにより、最初の行が表示されなくなります。Perlはファイル全体を読み取ってコピーする必要がありますが、出力は元のファイルの名前で保存されるようになっています。

あなたはこれで簡単にこれを行うことができます：

cat filename | sed 1d > filename_without_first_line

コマンドライン; または、ファイルの最初の行を永久に削除するには、sedのインプレースモードを-iフラグと共に使用します。

sed -i 1d <filename>

パックスが言ったように、あなたはおそらくこれより速くなることはないでしょう。その理由は、ファイルの先頭からの切り捨てをサポートするファイルシステムがほとんどないため、これは、ファイルのサイズがnであるO（）操作nになるためです。はるかに速くできるのは、最初の行を同じバイト数で（おそらくスペースまたはコメントで）上書きすることです。これは、何をしようとしているのかによって異なります（ところで何ですか）。

spongeutilのは、一時ファイルをジャグリングの必要性を回避します：

tail -n +2 "$FILE" | sponge "$FILE"

あなたの場所にファイルを変更したい場合は、常に元使えるed代わりにのSを後継者をtreaming sed：

ed "$FILE" <<<$'1d\nwq\n'

edでもフルスクリーン端末、はるかに少ないのグラフィックワークステーションがあった前のコマンドは、オリジナルのUNIXのテキストエディタでした。exエディタは、最高のタイピングが大腸プロンプトででたときに、使用しているものとして知られているvi、ある元の傾向が見られたバージョンedと同じコマンドの作業の多くは、。一方でed対話的に使用されることを意味し、それはまた、このソリューションが何をしている、それにコマンド文字列を送信することにより、バッチモードで使用することができます。

シーケンスは、<<<$'1d\nwq\n'ここでは、文字列（のためのBashのサポートを利用しています<<<）とPOSIXの引用符（$'... '）フィード入力にするed：二行からなるコマンド1d、Dの eletesがライン1に続いて、wqこれ、ワットに出儀式ファイルバックディスクとは、qは編集セッションをuits。

最初の行以外の行が表示されます。

cat textfile.txt | tail -n +2

vimを使用してこれを行うことができます：

vim -u NONE +'1d' +'wq!' /tmp/test.txt

処理時にvimはファイル全体を読み取らないため、これはより高速になります。

csplitはどうでしょうか？

man csplit
csplit -k file 1 '{1}'

削除を高速化できないように思えるので、次のようにファイルをバッチで処理するのが良い方法だと思います。

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

これの欠点は、プログラムが途中で終了した場合（または、そこにいくつかの不良SQLがある場合-「プロセス」の部分が停止またはロックアップする原因）、スキップされるか、2回処理される行が存在することです。 。

（file1にはSQLコードの行が含まれています）

失敗した後の回復が目的の場合は、これまでに行ったことのあるファイルを作成するだけです。

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

この1つのライナーは次のことを行います。

echo "$(tail -n +2 "$FILE")" > "$FILE"

ので、それは、働くtail前に実行されていないecho一時ファイルは不要、したがって、その後、ファイルのロックが解除されます。

N-1行でテールを使用し、それをファイルに送り、その後古いファイルを削除し、新しいファイルの名前を古い名前に変更すると、うまくいきますか？

プログラムでこれを行っている場合は、各行を読み取った後、ファイルを読み取り、ファイルオフセットを覚えているので、その位置に戻って、1行少ないファイルを読み取ることができます。