特定の文字列を含むすべての行をテキストファイルから削除する方法

特定の文字列を含むテキストファイルのすべての行を削除するには、sedをどのように使用しますか？

行を削除して、出力を標準出力に出力するには、次のようにします。

sed '/pattern to match/d' ./infile

ファイルを直接変更するには– BSD sedでは機能しません：

sed -i '/pattern to match/d' ./infile

同じですが、BSD sed（Mac OS XおよびFreeBSD）の場合– GNU sedでは機能しません。

sed -i '' '/pattern to match/d' ./infile

ファイルを直接変更する（およびバックアップを作成する）には、BSDおよびGNU sedで動作します。

sed -i.bak '/pattern to match/d' ./infile

他にも特定の文字列を含む行を削除する方法は他にもたくさんあります sed：

AWK

awk '!/pattern/' file > temp && mv temp file

Ruby（1.9以降）

ruby -i.bak -ne 'print if not /test/' file

Perl

perl -ni.bak -e "print unless /pattern/" file

シェル（bash 3.2以降）

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

そしてもちろんsed（逆を印刷することは実際の削除よりも高速です）：

sed -n '/pattern/!p' file

sedを使用して、ファイル内の所定の行を置き換えることができます。ただし、grepを使用して2番目のファイルにインバースし、2番目のファイルを元のファイルに移動するよりもはるかに遅いようです。

例えば

sed -i '/pattern/d' filename      

または

grep -v "pattern" filename > filename2; mv filename2 filename

とにかく、最初のコマンドは私のマシンで3倍長くかかります。

GNUでそれを行う簡単な方法sed：

sed --in-place '/some string here/d' yourfile

ex（標準のUnixコマンドベースのエディターである）の使用を検討してください。

ex +g/match/d -cwq file

どこ：

• +指定されたExコマンド（man ex）-cを実行します。実行wq（書き込みと終了）と同じです。
• g/match/d-指定されたmatchで行を削除するexコマンド、参照：Power of g

上記の例は、Unix.SEおよびのPOSIX仕様のexこの投稿に従ってファイルをインプレース編集するためのPOSIX準拠の方法です。

との違いsedは次のとおりです。

sedあるS tream ED itor、ないファイルエディタが。^BashFAQ

移植性のないコード、I / Oオーバーヘッド、およびその他のいくつかの悪い副作用を楽しんでいない限り。そのため、基本的に一部のパラメーター（in-place /など-i）は非標準のFreeBSD拡張であり、他のオペレーティングシステムでは使用できない場合があります。

私はMacでこれに苦労していました。さらに、変数置換を使用してそれを行う必要がありました。

だから私は使用しました：

sed -i '' "/$pattern/d" $file

どこ$fileで削除が必要なファイルであり、$pattern削除のために一致するパターンですが。

私は''このコメントから選びました。

ここで注意すべき事はの使用である二重引用符の中で"/$pattern/d"。単一引用符を使用すると、変数は機能しません。

約345 000行を含むファイルで小さなベンチマークを作成しました。との道はgrep約15倍速いようですsed方法は、この場合の方法ようです。

LC_ALL = Cの設定ありとなしの両方を試しましたが、タイミングが大幅に変更されていないようです。検索文字列（CDGA_00004.pdbqt.gz.tar）は、ファイルの途中にあります。

コマンドとタイミングは次のとおりです。

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

これを使用することもできます：

 grep -v 'pattern' filename

ここで-vは、パターン（つまり、反転一致）以外のみが印刷されます。

あなたがインプレースのような結果をgrep得るには、これを行うことができます：

echo "$(grep -v "pattern" filename)" >filename

SED：

• '/James\|John/d'
• -n '/James\|John/!p'

AWK：

• '!/James|John/'
• /James|John/ {next;} {print}

GREP：

• -v 'James\|John'

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

最初のコマンドは、ファイルをインプレースで編集します（-i）。

2番目のコマンドは同じことを行いますが、ファイル名に.bkを追加することにより、元のファイルのコピーまたはバックアップを保持します（.bkは任意に変更できます）。

echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

文字列の完全一致に対して誰かがそれを実行したい場合に備えて-w、grep-w全体でフラグを使用できます。つまり、たとえば、番号が11の行を削除し、番号が111の行は保持する場合は、次のようにします。

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

-f複数の正確なパターンを一度に除外したい場合も、フラグと連携します。「ブラックリスト」が、「ファイル」から削除する各行にいくつかのパターンがあるファイルの場合：

grep -w -v -f blacklist file

cat filename | grep -v "pattern" > filename.1
mv filename.1 filename

処理されたテキストをコンソールに表示するには

cat filename | sed '/text to remove/d' 

処理されたテキストをファイルに保存するには

cat filename | sed '/text to remove/d' > newfile

処理されたテキスト情報を既存のファイルに追加する

cat filename | sed '/text to remove/d' >> newfile

既に処理されたテキストを処理するには、この場合、削除されたものの行をさらに削除します

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

| more一度に1ページのチャンク内のテキストが表示されます。

古き良きものedを使用して、を使用する回答と同様の方法でファイルを編集できますex。この場合の大きな違いedは、コマンドライン引数としてではなく、標準入力を介してコマンドを受け取るexことです。スクリプトで使用する場合、これに対応する通常の方法は、printfコマンドをパイプするために使用することです。

printf "%s\n" "g/pattern/d" w | ed -s filename

またはヒアドキュメント付き：

ed -s filename <<EOF
g/pattern/d
w
EOF