ディレクトリのmd5チェックサムを計算するにはどうすればよいですか？

*.pyディレクトリとすべてのサブディレクトリの下に配置された特定のタイプ（たとえば）のすべてのファイルの要約md5チェックサムを計算する必要があります。

それを行う最良の方法は何ですか？

編集：提案されたソリューションは非常に優れていますが、これは私が必要としているものとは正確には異なります。私は、ディレクトリ全体を一意に識別する単一の要約チェックサム（すべてのサブディレクトリのコンテンツを含む）を取得するソリューションを探しています。

find /path/to/dir/ -type f -name "*.py" -exec md5sum {} + | awk '{print $1}' | sort | md5sum

findコマンドは、.pyで終わるすべてのファイルをリストします。md5sumは.pyファイルごとに計算されます。awkはmd5sumsを選択するために使用されます（一意でない可能性があるファイル名は無視されます）。md5sumがソートされます。次に、このソートされたリストのmd5sumが返されます。

私はテストディレクトリをコピーしてこれをテストしました：

rsync -a ~/pybin/ ~/pybin2/

〜/ pybin2にあるいくつかのファイルの名前を変更しました。

このfind...md5sumコマンドは、両方のディレクトリに対して同じ出力を返します。

2bcf49a4d19ef9abd284311108d626f1  -

その場でtarアーカイブファイルを作成し、それをmd5sum次の場所にパイプします。

tar c dir | md5sum

これにより、ファイルとサブディレクトリのセットアップに固有の単一のmd5sumが生成されます。ディスク上にファイルは作成されません。

ire_and_cursesの使用tar c <dir>に関する提案には、いくつかの問題があります。

• tarは、ファイルシステムに格納されている順序でディレクトリエントリを処理します。この順序を変更する方法はありません。別の場所に「同じ」ディレクトリがある場合、これは事実上完全に異なる結果をもたらす可能性があり、私はこれを修正する方法を知りません（tarは入力ファイルを特定の順序で「ソート」できません）。
• 私は通常、groupidとowneridの番号が同じであるかどうかを気にします。必ずしもgroup / ownerの文字列表現が同じであるかどうかは関係ありません。これは、たとえば何をしているのかと一致してrsync -a --deleteいます。事実上すべて（xattrsとaclsを除く）を同期しますが、所有者とグループは文字列表現ではなくIDに基づいて同期します。したがって、必ずしも同じユーザー/グループを持たない別のシステムに同期した場合は、--numeric-ownertarにフラグを追加する必要があります
• tarには、確認するディレクトリのファイル名が含まれます。

最初の問題が修正されていない限り（または、影響がないことが確実でない限り）、このアプローチは使用しません。

find彼らは唯一のあなたがチェックサムは、心の中で空のディレクトリを維持する必要がある場合は問題になるファイルは、いないディレクトリが含まれるため、上記の提案に基づく解決策もダメではありません。

最後に、照合はシステム間で異なる可能性があるため、ほとんどの提案されたソリューションは一貫してソートされません。

これは私が思いついた解決策です：

dir=<mydir>; (find "$dir" -type f -exec md5sum {} +; find "$dir" -type d) | LC_ALL=C sort | md5sum

このソリューションに関するメモ：

• LC_ALL=Cシステム間で信頼性のソート順序を確保することです
• これは、「named \ nwithanewline」というディレクトリと「named」と「withanewline」という2つのディレクトリを区別しませんが、その可能性は非常に低いようです。通常はこれを-print0フラグで修正findしますが、ここでは他のことが行われているため、コマンドをより複雑にし、価値がある解決策しか見ることができません。

PS：私のシステムの1つは、フラグもfindサポートしていない限られたbusybox を使用しています。また、ディレクトリを示すために「/」を追加していますが、findutils findはそうではないため、このマシンでは実行する必要があります。-exec-print0

dir=<mydir>; (find "$dir" -type f | while read f; do md5sum "$f"; done; find "$dir" -type d | sed 's#/$##') | LC_ALL=C sort | md5sum

幸い、名前に改行が含まれるファイルやディレクトリはありません。そのため、このシステムでは問題になりません。

空のディレクトリではなくファイルのみに関心がある場合、これはうまく機能します。

find /path -type f | sort -u | xargs cat | md5sum

完全を期すために、md5deep（1）があります。* .pyフィルター要件のため、直接適用することはできませんが、find（1）と一緒にうまく機能するはずです。

私にとって最も効果的な解決策：

find "$path" -type f -print0 | sort -z | xargs -r0 md5sum | md5sum

それが私にとって最もうまくいった理由：

1. スペースを含むファイル名を処理します
2. ファイルシステムのメタデータを無視します
3. ファイルの名前が変更されたかどうかを検出します

他の回答に関する問題：

ファイルシステムのメタデータは無視されません：

tar c - "$path" | md5sum

スペースを含むファイル名を処理せず、ファイルの名前が変更されたかどうかも検出しません。

find /path -type f | sort -u | xargs cat | md5sum

ディレクトリ全体にわたる1つのmd5sumが必要な場合は、次のようにします

cat *.py | md5sum 

コンテンツとファイル名の両方を含むすべてのファイルのチェックサム

grep -ar -e . /your/dir | md5sum | cut -c-32

上記と同じですが、*。pyファイルのみが含まれます

grep -ar -e . --include="*.py" /your/dir | md5sum | cut -c-32

必要に応じて、シンボリックリンクをたどることもできます

grep -aR -e . /your/dir | md5sum | cut -c-32

grepでの使用を検討できるその他のオプション

-s, --no-messages         suppress error messages
-D, --devices=ACTION      how to handle devices, FIFOs and sockets;
-Z, --null                print 0 byte after FILE name
-U, --binary              do not strip CR characters at EOL (MSDOS/Windows)

GNU find

find /path -type f -name "*.py" -exec md5sum "{}" +;

技術的には、を実行するだけで済みますls -lR *.py | md5sum。誰かがファイルを変更して元の日付に戻し、ファイルのサイズを変更しないことを心配しない限り、からの出力lsはファイルが変更されたかどうかを通知します。私のunix-fooは弱いので、印刷するための作成時間と変更時間を取得するには、さらにいくつかのコマンドラインパラメータが必要になる場合があります。lsファイルのアクセス許可が変更されているかどうかも通知されます（気にしない場合は、それをオフにするスイッチがあるはずです）。

使用md5deep：

md5deep -r FOLDER | awk '{print $1}' | sort | md5sum

私は同じ問題を抱えていたので、ディレクトリ内のファイルのmd5sumを一覧表示するだけのこのスクリプトを思いつきました。サブディレクトリがそこから再度実行されると、スクリプトが現在のスクリプトを実行できるようになる必要があります。上記の引数が$ 1で渡される場合、ディレクトリまたはサブディレクトリから

#!/bin/bash

if [ -z "$1" ] ; then

# loop in current dir
ls | while read line; do
  ecriv=`pwd`"/"$line
if [ -f $ecriv ] ; then
    md5sum "$ecriv"
elif [ -d $ecriv ] ; then
    sh myScript "$line" # call this script again
fi

done


else # if a directory is specified in argument $1

ls "$1" | while read line; do
  ecriv=`pwd`"/$1/"$line

if [ -f $ecriv ] ; then
    md5sum "$ecriv"

elif [ -d $ecriv ] ; then
    sh myScript "$line"
fi

done


fi

ファイルシステムの属性や一部のtarバージョンのビットレベルの違いからの独立性が本当に必要な場合は、cpioを使用できます。

cpio -i -e theDirname | md5sum

さらに2つの解決策があります。

作成：

du -csxb /path | md5sum > file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum > /tmp/file

小切手：

du -csxb /path | md5sum -c file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum -c /tmp/file

md5sumは問題なく動作しましたが、sortファイル名の並べ替えや問題がありました。代わりに、md5sum結果でソートしました。また、同等の結果を作成するために、いくつかのファイルを除外する必要がありました。

find . -type f -print0 \ | xargs -r0 md5sum \ | grep -v ".env" \ | grep -v "vendor/autoload.php" \ | grep -v "vendor/composer/" \ | sort -d \ | md5sum