一意のコンテンツを持つファイルをテストするにはどうすればよいですか?
if diff "$file1" "$file2" > /dev/null; then
...
ディレクトリ内のファイルのリストを取得するにはどうすればよいですか?
files="$( find ${files_dir} -type f )"
そのリストから2つのファイルを取得し、それらの名前が異なり、内容が同じであるかどうかを確認できます。
#!/bin/bash
# removeDuplicates.sh
files_dir=$1
if [[ -z "$files_dir" ]]; then
echo "Error: files dir is undefined"
fi
files="$( find ${files_dir} -type f )"
for file1 in $files; do
for file2 in $files; do
# echo "checking $file1 and $file2"
if [[ "$file1" != "$file2" && -e "$file1" && -e "$file2" ]]; then
if diff "$file1" "$file2" > /dev/null; then
echo "$file1 and $file2 are duplicates"
rm -v "$file2"
fi
fi
done
done
たとえば、いくつかのディレクトリがあります。
$> ls .tmp -1
all(2).txt
all.txt
file
text
text(2)
そのため、一意のファイルは3つしかありません。
そのスクリプトを実行しましょう:
$> ./removeDuplicates.sh .tmp/
.tmp/text(2) and .tmp/text are duplicates
removed `.tmp/text'
.tmp/all.txt and .tmp/all(2).txt are duplicates
removed `.tmp/all(2).txt'
そして、残されたファイルは3つだけです。
$> ls .tmp/ -1
all.txt
file
text(2)