数千のファイルを含む大きなディレクトリを効率的に削除する

フォルダーが数十万の小さなファイルで扱いにくくなるという問題があります。

実行rm -rfするとエラーが返されるファイルが非常に多いため、代わりに次のようにする必要があります。

find /path/to/folder -name "filenamestart*" -type f -exec rm -f {} \;

これは機能しますが、非常に遅く、メモリ不足により常に失敗します。

これを行うためのより良い方法はありますか？理想的には、ディレクトリ内のコンテンツを気にせずにディレクトリ全体を削除したいと思います。

rsyncの使用は驚くほど速くて簡単です。

mkdir empty_dir
rsync -a --delete empty_dir/    yourdirectory/

@sarathの答えは、別の素早い選択に言及しています：Perl！そのベンチマークは、よりも高速ですrsync -a --delete。

cd yourdirectory
perl -e 'for(<*>){((stat)[9]<(unlink))}'

ソース：

1. https://stackoverflow.com/questions/1795370/unix-fast-remove-directory-for-cleaning-up-daily-builds
2. http://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux

上の誰かTwitterは使用して提案-deleteの代わりに、-exec rm -f{} \;

これにより、コマンドの効率が向上しましたが、再帰を使用してすべてを処理しています。

次のようなものはどうですか： find /path/to/folder -name "filenamestart*" -type f -print0 | xargs -0rn 20 rm -f

parameterの引数を変更すると、一度に削除するファイルの数を制限できます-n。空白のあるファイル名も含まれます。

巧妙なトリック：

rsync -a --delete empty/ your_folder/

CPUを集中的に使用しますが、本当に高速です。https://web.archive.org/web/20130929001850/http://linuxnote.net/jianingy/en/linux/a-fast-way-to-remove-huge-number-of-files.htmlを参照してください

コメントの1つを拡大すると、あなたがしていると思うことをしているとは思わない。

最初に、状況をシミュレートするために大量のファイルを作成しました。

$ mkdir foo
$ cd foo/
$ for X in $(seq 1 1000);do touch {1..1000}_$X; done

それから私は失敗すると予想していたこと、そしてあなたが質問でやっているように聞こえるものを試しました：

$ rm -r foo/*
bash: /bin/rm: Argument list too long

しかし、これは機能します：

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

これに-delete比べてテストする機会が-exec rm \{\} \;あり、私にとって-deleteはこの問題に対する答えでした。

を使用-deleteして、400,000ファイルのフォルダー内のファイルを削除しますrm。

「Linuxで大量のファイルを削除する方法」の記事では、約3倍高速であることが示唆されていますが、私のテストでは、その差ははるかに劇的でした。

-delete上記のオプションについて：作成した一時フォルダー内の多数（1M + est）のファイルを削除するために使用しており、誤って毎晩クリーンアップするのを忘れていました。誤ってディスク/パーティションをいっぱいにしたが、find .コマンド以外はそれらを削除できなかった。遅いです、最初は私が使っていました：

find . -ls -exec rm {} \;

しかし、それは非常に時間がかかっていました。いくつかのファイルを削除するために約15分後に開始されましたが、私の推測では、最終的に開始してから1秒あたり10個以下しか削除していなかったようです。だから、私は試しました：

find . -delete

代わりに、今すぐ実行させています。他のコマンドでは実行できなかったCPUに非常に負荷がかかっていますが、実行速度は速いようです。現在1時間ほど稼働しており、ドライブのスペースを取り戻していると思います。パーティションは徐々に「スリム化」しますが、それでも非常に長い時間がかかります。私は、それが他のものより1,000倍速く走ることを真剣に疑います。すべてのものと同様に、空間と時間のトレードオフを指摘したかっただけです。CPU帯域幅に余裕がある場合（余裕があれば）、後者を実行します。CPUを実行しています（uptimeレポート）：

10:59:17 up 539 days, 21:21,  3 users,  load average: 22.98, 24.10, 22.87

また、負荷の平均が30.00を超えているのを確認しましたが、これはビジーなシステムには適していませんが、通常は負荷が軽いシステムの場合、数時間は問題ありません。私はシステム上の他のほとんどのものをチェックしましたが、それらはまだ反応しているので、今のところ大丈夫です。

Linuxで多数のファイルを削除するために使用できる方法がいくつかあります。findオプションとdeleteオプションを使用できます。これは、execオプションよりも高速です。次に、perl unlinkを使用し、さらにrsyncを使用できます。 Linuxで大量のファイルを削除する方法

Btrfsボリュームの使用を検討し、多数のファイルがあるディレクトリのボリューム全体を単純に削除します。

または、FSイメージファイルを作成し、そのファイルをアンマウントして削除し、すべてを一度に非常に高速に削除することもできます。

GNUがparallelインストールされていると仮定して、私はこれを使用しました：

parallel rm -rf dir/{} ::: `ls -f dir/`

そしてそれは十分に速かった。

このサイトから学んだように、本当に大きなディレクトリを削除するには別のアプローチ が必要です-ioniceを使用する必要があります（-c3を使用すると）システムにIO時間がある場合にのみ削除が実行されます。システムの負荷が高くなることはなく、すべての応答性は維持されます（ただし、findのCPU時間は約50％と非常に高くなりました）。

find <dir> -type f -exec ionice -c3 rm {} \;

ls -1 | xargs rm -rf 

メインフォルダ内で動作するはずです

上記のIzkataのヒント：

しかし、これは機能します：

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

これはほとんど機能しました-または機能していました-しかし、私は許可にいくつかの問題がありました。ファイルはサーバー上にありましたが、この許可の問題の原因はまだわかりません。とにかく、ターミナルはすべてのファイルで確認を求めました。ファイルの量は約20 000だったので、これはオプションではありませんでした。「-r」の後にオプション「-f」を追加したため、コマンド全体は「rm -r -f foldername /」になりました。それからそれはうまくいくように見えた。私はターミナルの初心者ですが、これは大丈夫でしたね。ありがとう！

これらのファイルを削除する必要があるかどうかに応じて、を使用することをお勧めしshredます。

$ shred -zuv folder

ディレクトリを削除したいが、削除して再作成できない場合は、移動してすぐに再作成することをお勧めします。

mv folder folder_del
mkdir folder
rm -rf folder_del

変更する必要があるのは1つのiノードだけなので、これは信じられないかもしれませんが、より高速です。要確認：マルチコアコンピューターでは、このテイストを実際に並列化することはできません。それはディスクアクセスに帰着します。これはRAIDまたはあなたが持っているものによって制限されます。

数百万のファイルがあり、上記のすべてのソリューションがシステムにストレスを与えている場合、次のインスピレーションを試すことができます。

ファイルnice_delete：

#!/bin/bash

MAX_LOAD=3
FILES=("$@")
BATCH=100

while [ ${#FILES[@]} -gt 0 ]; do
    DEL=("${FILES[@]:0:$BATCH}")
    ionice -c3 rm "${DEL[@]}"
    echo -n "#"
    FILES=("${FILES[@]:$BATCH}")
    while [[ $(cat /proc/loadavg | awk '{print int($1)}') -gt $MAX_LOAD ]]; do
        echo -n "."
        sleep 1
    done
done

そして、ファイルを削除します。

find /path/to/folder -type f -exec ./nice_delete {} \+

Findはgetconf ARG_MAX、数万のファイルのバッチ（を参照）を作成し、それをに渡しますnice_delete。これにより、より小さなバッチが作成され、過負荷が検出されたときにスリープできるようになります。

できるだけ早く多くのファイルを削除したい場合はls -f1 /path/to/folder/with/many/files/ | xargs rmうまくいくかもしれませんが、システムがIOの問題になり、削除操作中にアプリケーションがスタックする可能性があるため、実稼働システムでは実行しない方が良いでしょう。

このスクリプトは多くのファイルでうまく機能し、システムのioloadに影響を与えません。

#!/bin/bash

# Path to folder with many files
FOLDER="/path/to/folder/with/many/files"

# Temporary file to store file names
FILE_FILENAMES="/tmp/filenames"

if [ -z "$FOLDER" ]; then
    echo "Prevented you from deleting everything! Correct your FOLDER variable!"
    exit 1
fi

while true; do
    FILES=$(ls -f1 $FOLDER | wc -l)
    if [ "$FILES" -gt 10000 ]; then
        printf "[%s] %s files found. going on with removing\n" "$(date)" "$FILES"
        # Create new list of files
        ls -f1 $FOLDER | head -n 5002 | tail -n 5000 > "$FILE_FILENAMES"

        if [ -s $FILE_FILENAMES ]; then
            while read FILE; do
                rm "$FOLDER/$FILE"
                sleep 0.005
            done < "$FILE_FILENAMES"
        fi
    else
        printf "[%s] script has finished, almost all files have been deleted" "$(date)"
        break
    fi
    sleep 5
done