サブツリーの削除（ `rm -rf`）がディスクI / Oのための他のプロセスを枯渇させないようにする方法は？

ビジーなサイト用に非常に大きな（マルチGB）Nginxキャッシュディレクトリがあり、一度にすべてをクリアする必要がある場合があります。キャッシュフォルダーを新しいパスに移動し、古いパスに新しいキャッシュフォルダーを作成しrm -rf、古いキャッシュフォルダーを使用することで、これを以前に解決しました。

しかし、最近、忙しい朝にキャッシュをクリアする必要がある場合rm -rf、Nginxとその前にあるサーバーの両方が読み取り集中型であるため、I / O がサーバーアクセスのディスクアクセスを枯渇させています。CPUがアイドル状態にありrm -rf、ディスクIOの98〜99％を占める間に、負荷平均の上昇を観察できiotopます。

をionice -c 3呼び出すときに試しましたrmが、観測された動作にそれほど影響はないようです。

rm -rfさらにディスクを共有するために飼いならす方法はありますか？手がかりを得る別のテクニックを使用する必要がありioniceますか？

更新：

問題のファイルシステムはAWS EC2インスタンスストアです（プライマリディスクはEBSです）。/etc/fstabエントリは次のようになります。

/dev/xvdb       /mnt    auto    defaults,nobootwait,comment=cloudconfig 0       2

このページから収集されたすべてのデータ。 以下は、ファイルの大きなディレクトリを削除するためのいくつかのオプションです。これがどのように作成されたかの詳細については、記事をチェックしてください。

コマンド経過システム時間％CPU cs1 *（Vol / Invol）
rsync -a –delete empty / a 10.60 1.31 95％106/22
検索b / -type f -delete 28.51 14.46 52％14849/11
c / -type fを見つける| xargs -L 100 rm 41.69 20.60 54％37048/15074
d / -type fを見つける| xargs -L 100 -P 100 rm 34.32 27.82 89％929897/21720
rm -rf f 31.29 14.80 47％15134/11

* cs1は、自発的および非自発的なコンテキストスイッチです

ファイルを削除すると、ファイルシステムでメタデータ操作のみが実行され、ioniceの影響は受けません。

最も簡単な方法は、現時点でディスク容量が必要ない場合は、rmオフピーク時に実行することです。

MIGHTのより複雑な方法は、削除を時間をかけて分散させることです。次のようなものを試すことができます（パスとファイル名にスペースが含まれていないと想定しています！）：

while find dir -type f | head -n 100 | xargs rm; do sleep 2; done
while find dir -type d -depth | head -n 100 | xargs rmdir; do sleep 2; done

またrm -f、ループが停止しないため、最初のコマンドでは使用できません（rm引数がない場合のエラー終了コードによって異なります）。

サイクルごとの削除の数（この例では100）とスリープ期間を変更することで調整できます。ただし、ファイルシステムがメタデータの更新を束ねて、IO負荷で問題が発生する可能性があるため、実際には機能しない可能性があります。あなただけ試してみなければなりません。

「nice」コマンドとペアにすることができます。 ionice -c 3 nice -19 rm -rf /some/folder

これにより、マシン上のプロセスの優先順位が変更されます。