ファイルシステム全体でのsedインプレース行削除？

まだ診断されていないアプリケーションのバグが原因で、ディスクがいっぱいのサーバーが数百台あります。重複する行で満たされたファイルが1つあります。ログファイルではなく、変数定義を含むユーザー環境ファイルです（そのため、ファイルを削除することはできません）。

sed誤って追加された行をチェックして削除する簡単なコマンドを書き、ファイルのローカルコピーでテストしました。意図したとおりに機能しました。

ただし、ディスク全体を使用してサーバーで試したところ、およそ次のエラーが発生しました（コピーと貼り付けではなく、メモリからのものです）。

sed: couldn't flush /path/to/file/sed8923ABC: No space left on deviceServerHostname

もちろん、私が知っている、左にスペースはありません。だから私はものを削除しようとしています！（sed私が使用しているコマンドは、4000行以上のファイルを約90行に減らします。）

私のsed命令はただsed -i '/myregex/d' /path/to/file/filename

ディスクがいっぱいでもこのコマンドを適用する方法はありますか？

（クイックフィックスとして数百のサーバーに適用する必要があるため、自動化する必要があります。）

_{（明らかにアプリケーションのバグを診断する必要がありますが、その間サーバーは正しく動作していません...）}

更新：私が直面した状況は、自分が削除できることがわかった他のものを削除することで解決しましたが、この質問への回答は今後も他の人にも役立つと思います。

/tmp立ち入り禁止です。同じファイルシステム上にあります。

ディスク領域を解放する前にvi、ファイルを開いて実行することで行を削除できることをテストして確認し:g/myregex/d、変更をで正常に保存しました:wq。一時ファイルを保持するために別のファイルシステムに頼ることなく、これを自動化することは可能であると思われます...（？）

この-iオプションでは、元のファイルは実際には上書きされません。出力を含む新しいファイルを作成し、それを元のファイル名に名前変更します。この新しいファイルのためのファイルシステム上のスペースがないため、失敗します。

スクリプトで自分で行う必要がありますが、別のファイルシステムに新しいファイルを作成します。

また、正規表現に一致する行を削除するだけの場合は、のgrep代わりに使用できますsed。

grep -v 'myregex' /path/to/filename > /tmp/filename && mv /tmp/filename /path/to/filename

一般的に、プログラムが同じファイルを入力と出力として使用することはほとんどありません。ファイルへの書き込みを開始するとすぐに、ファイルから読み取っているプログラムの部分には元の内容が表示されなくなります。したがって、最初に元のファイルをコピーするか、新しいファイルに書き込んで名前を変更する必要があります。

一時ファイルを使用したくない場合は、ファイルの内容をメモリにキャッシュしてみてください。

file=$(< /path/to/filename)
echo "$file" | grep -v 'myregex' > /path/to/filename

それが機能する方法sedです。-i（インプレイス編集）と共に使用するとsed、処理済みファイルの新しい内容を含む一時ファイルが作成されます。終了するsedと、現在の作業ファイルを一時ファイルに置き換えます。ユーティリティはファイルをその場で編集しません。それがすべてのエディターの動作です。

シェルで次のタスクを実行するようなものです。

sed 'whatever' file >tmp_file
mv tmp_file file

この時点でsed、はfflush()システムコールでエラーメッセージに示されているファイルにバッファデータをフラッシュしようとします。

出力ストリームの場合fflush()、ストリームの基になる書き込み関数を介して、指定された出力または更新ストリームのすべてのユーザー空間のバッファーデータを強制的に書き込みます。

あなたの問題については、別のファイルシステム（たとえば、tmpfs十分なメモリがある場合は、または外部ストレージデバイス）をマウントしてそこにいくつかのファイルを移動し、そこで処理して、元に戻す解決策を見つけました。

この質問を投稿して以来、私はそれexがPOSIX準拠のプログラムであることを学びました。これはほぼ普遍的ににシンボリックリンクされてvimいますが、どちらにしても、ex（POSIX仕様から取られた）ファイルシステムに関連する重要なポイントは次のとおりです（私はそう思います）。

このセクションでは、編集バッファーという用語を使用して、現在作業中のテキストを説明します。この用語は、特定の実装を意味するものではありません。すべての編集変更は編集バッファーで実行され、エディターコマンドがファイルを書き込むまで、変更はファイルに影響しません。

「... すべてのファイルに影響を与える...」ファイルシステムに何かを（一時ファイルでさえ）置くと、「すべてのファイルに影響を与える」と見なされると思います。多分？*

のPOSIX仕様をex注意深く調査すると、exオンラインで見つかる一般的なスクリプトでの使用（特定のvimコマンドが散らばっている）と比較した場合の、意図されたポータブルな使用についての「落とし穴」がいくつかあります。

1. +cmdPOSIXによると、実装はオプションです。
2. 複数の-cオプションを許可することもオプションです。
3. グローバルコマンド:gは、エスケープされていない次の改行まですべてを「食べる」（したがって、最後に一度ではなく、正規表現で一致が見つかるたびに実行する）。したがって-c 'g/regex/d | x'、1つのインスタンスのみを削除してからファイルを終了します。

したがって、私が調べたところによると、特定の正規表現に一致するすべての行を削除するために、フルファイルシステム上のファイルをインプレース編集するPOSIX準拠の方法は次のとおりです。

ex -sc 'g/myregex/d
x' /path/to/file/filename

これは、ファイルをバッファにロードするのに十分なメモリがある場合に機能します。

_{※特に指摘のある箇所がありましたら、コメント欄にご記入ください。}

ルーク、パイプを使って！

ファイルを読む| フィルター| 返事を書く

sed 's/PATTERN//' BIGFILE | dd of=BIGFILE conv=notrunc

この場合sed、新しいファイルは作成されず、同じファイルddを開く出力をパイプで送信するだけです。もちろんgrep、特定の場合に使用できます

grep -v 'PATTERN' BIGFILE | dd of=BIGFILE conv=notrunc

その後、残りを切り捨てます。

dd if=/dev/null of=BIGFILE seek=1 bs=BYTES_OF_SED_OUTPUT

他の回答で述べたように sed -i、ファイルを同じディレクトリの新しいファイルにコピーし、プロセスに変更を加えてから、新しいファイルを元のファイルの上に移動します。それが機能しない理由です。  ed（元のラインエディター）はやや似た方法で機能しますが、前回チェックしたとき/tmpはスクラッチファイルに使用されます。あなた/tmpがいっぱいのファイルシステムとは異なるファイルシステムにいる ed場合は、あなたのために仕事をするかもしれません。

（インタラクティブシェルプロンプトで）これを試してください：

$ ed / path / to / file / filename
P
g / myregex / d
w
q

P（ある首都 P）厳密には必要ではありません。プロンプトをオンにします。それがなければ、あなたは暗闇の中で働いています、そして何人かの人々はこの当惑を見つけます。あるwは儀式やQ UIT。wq

ed不可解な診断で悪名高いです。いずれかの時点で、それ以外のプロンプト（つまり*）または正常な操作の確認である何か（特にが含まれている場合?）が表示される場合は、ファイルに（を使用して）書き込まないでくださいw。（q）を終了するだけです。うまくいかない場合は、もう一度言ってみてくださいq。

あなたの場合は/tmp、ディレクトリがいっぱい（またはそのファイルシステムでも、フルの場合）であるファイルシステム上にある、いくつかのスペースのどこかを探してみてください。混乱は、tmpfsまたは外部ストレージデバイス（例えば、フラッシュドライブ）のマウントに言及しました。しかし、複数のファイルシステムがあり、それらがすべて満杯ではない場合は、他の既存のファイルシステムの1つを使用するだけで済みます。chaosは、ファイルを他のファイルシステムにsedコピーし、そこで編集し（で）、次にそれらを元に戻すことを推奨します。この時点で、それが最も簡単な解決策になる可能性があります。ただし、代わりに、空き領域のあるファイルシステムに書き込み可能なディレクトリを作成し、TMPDIRそのディレクトリを指すように環境変数を設定して、を実行することもできedます。（開示：これが機能するかどうかはわかりませんが、害はありません。）

ed作業を開始したら、次のようにして自動化できます

ed ファイル名 << EOF
g / myregex / d
w
q
EOF

スクリプトで。または 、don_crisstiによって提案されています。printf '%s\n' 'g/myregex/d' w q | ed -s filename

オフセットまでのバイト数を取得でき、行が始点から終点まで発生する場合は、ファイルを非常に簡単に切り捨てることができます。

o=$(sed -ne'/regex/q;p' <file|wc -c)
dd if=/dev/null of=file bs="$o" seek=1

または${TMPDIR:-/tmp}、他のファイルシステムを使用している場合は、次のようになります。

{   cut -c2- | sed "$script" >file
} <file <<FILE
$(paste /dev/null -)
FILE

ので（ほとんど）のシェルは、削除、一時ファイルであり、そのヒアドキュメントを置きます。<<FILE記述子が最初から最後まで維持され、${TMPDIR:-/tmp}必要なだけのスペースがある限り、完全に安全です。

一時ファイルを使用しないシェルはパイプを使用するため、この方法を使用しても安全ではありません。これらのシェルは、典型的にはashのようなデリバティブbusybox、dashBSD、 - sh、zsh、bash、kshおよびBourneシェル、しかし、すべての使用の一時ファイル。

どうやら私は昨年7月にこのようなことをするために小さなシェルプログラムを書いた

/tmpが実行可能でない場合は、ファイルをメモリに収めることができる限り...

sed 'H;$!d;x' <file | { read v &&
sed "$script" >file;}

...一般的なケースとして、入出力ファイルのsed切り捨てを試みる前に、最初のプロセスによってファイルが完全にバッファリングされていることを少なくとも保証します。

より的を絞った効率的なソリューションは次のとおりです。

sed '/regex/!H;$!d;x' <file|{ read v && cat >file;}

...とにかく削除するつもりのバッファリング行を邪魔しないからです。

一般的なケースのテスト：

{   nums=/tmp/nums
    seq 1000000 >$nums
    ls -lh "$nums"
    wc -l  "$nums"
    sed 'H;$!d;x' <$nums | { read script &&  ### read always gets a blank
    sed "$script" >$nums;}
    wc -l  "$nums"
    ls -lh "$nums"
}

-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums
1000000 /tmp/nums
1000000 /tmp/nums
-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums

この回答は、この他の回答 とこの他の回答からアイデアを借りていますが、それらに基づいており、より一般的に適用できる回答を作成しています。

num_bytes = $（sed '/ myregex / d' / path / to / file / filename | wc -c）
sed '/ myregex / d' / path / to / file / filename 1 <> / path / to / file / filename 
dd if = / dev / null of = / path / to / file / filename bs = "$ num_bytes" seek = 1

1行目は、sed出力を標準出力（ファイルではなく）に書き込んでコマンドを実行します。具体的にはwc、文字をカウントするパイプに。2行目もsedコマンドを実行して出力を標準出力に書き込みます。この場合、このファイルは、ここで説明する読み取り/書き込み上書き（切り捨てなし）モードで入力ファイルにリダイレクトされます。これはやや危険なことです。filterコマンドがデータ（テキスト）の量を決して増加させない場合にのみ安全です。すべてのために、すなわち、nはそれが読み込むバイト、それは書き込みのnバイト以下。もちろん、これはsed '/myregex/d'コマンドにも当てはまります。読み取るすべての行について、まったく同じ行を書き込むか、何も書き込まない。（その他の例：s/foo/fu/またはs/foo/bar/安全ですがs/fu/foo/、s/foo/foobar/そうではありません。）

例えば：

$ cat filename
It was
a dark and stormy night.
$ sed '/was/d' filename 1<> filename
$ cat filename
a dark and stormy night.
night.

これらの32バイトのデータは：

I  t     w  a  s \n  a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

これらの25文字で上書きされました：

a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

night.\n最後に残った7バイトを残します。

最後に、このddコマンドは新しいスクラブされたデータ（この例ではバイト25）の最後までシークし、ファイルの残りを削除します。つまり、その時点でファイルを切り捨てます。

何らかの理由で1<>トリックがうまくいかない場合は、

sed '/ myregex / d' / path / to / file / filename | dd of = / path / to / file / filename conv = notrunc

また、行を削除している限り、必要なのはgrep -v myregex（Barmarによって指摘されているように）だけであることに注意してください。

sed -i 'd' / path / to / file / filename