Bash-部分的なファイル名のリストに対してファイルのディレクトリを確認します

クライアントごとに毎日ファイルをディレクトリに受信するサーバーがあります。ファイル名は次のように構成されています。

uuid_datestring_other-data

例えば：

d6f60016-0011-49c4-8fca-e2b3496ad5a7_20160204_023-ERROR

• uuid 標準形式のuuidです。
• datestringからの出力ですdate +%Y%m%d。
• other-data 長さは可変ですが、アンダースコアが含まれることはありません。

次の形式のファイルがあります。

#
d6f60016-0011-49c4-8fca-e2b3496ad5a7    client1
d5873483-5b98-4895-ab09-9891d80a13da    client2
be0ed6a6-e73a-4f33-b755-47226ff22401    another_client
...

ファイルにリストされているすべてのuuidに、bashを使用して、対応するファイルがディレクトリにあることを確認する必要があります。

これまでのところ、私はifステートメントを使用して間違った方向から来ているように感じ、ソースディレクトリ内のファイルをループ処理する必要があると感じています。

source_directoryおよびuuid_list変数は、スクリプトの前半で割り当てられています。

# Check the entries in the file list

while read -r uuid name; do
# Ignore comment lines
   [[ $uuid = \#* ]] && continue
   if [[ -f "${source_directory}/${uuid}*" ]]
   then
      echo "File for ${name} has arrived"
   else
      echo "PANIC! - No File for ${name}"
   fi
done < "${uuid_list}"

リスト内のファイルがディレクトリに存在することを確認するにはどうすればよいですか？可能な限りbash機能を使用したいのですが、必要に応じてコマンドを使用することに反対しているわけではありません。

ファイルをウォークスルーし、名前に含まれるuuidに連想配列を作成します（パラメーター拡張を使用してuuidを抽出しました）。リストを読み取り、各UUIDの連想配列を確認し、ファイルが記録されたかどうかを報告します。

#!/bin/bash
uuid_list=...

declare -A file_for
for file in *_*_* ; do
    uuid=${file%%_*}
    file_for[$uuid]=1
done

while read -r uuid name ; do
    [[ $uuid = \#* ]] && continue
    if [[ ${file_for[$uuid]} ]] ; then
        echo "File for $name has arrived."
    else
        echo "File for $name missing!"
    fi
done < "$uuid_list"

これは、より「バッシー」で簡潔なアプローチです。

#!/bin/bash

## Read the UUIDs into the array 'uuids'. Using awk
## lets us both skip comments and only keep the UUID
mapfile -t uuids < <(awk '!/^\s*#/{print $1}' uuids.txt)

## Iterate over each UUID
for uuid in ${uuids[@]}; do
        ## Set the special array $_ (the positional parameters: $1, $2 etc)
        ## to the glob matching the UUID. This will be all file/directory
        ## names that start with this UUID.
        set -- "${source_directory}"/"${uuid}"*
        ## If no files matched the glob, no file named $1 will exist
        [[ -e "$1" ]] && echo "YES : $1" || echo  "PANIC $uuid" 
done

上記はかなりの数でいくつかのファイルで正常に動作しますが、その速度はUUIDの数に依存し、多くを処理する必要がある場合は非常に遅くなることに注意してください。その場合は、@ chorobaのソリューションを使用するか、本当に高速なものを得るには、シェルを回避して次のように呼び出しますperl。

#!/bin/bash

source_directory="."
perl -lne 'BEGIN{
            opendir(D,"'"$source_directory"'"); 
            foreach(readdir(D)){ /((.+?)_.*)/; $f{$2}=$1; }
           } 
           s/\s.*//; $f{$_} ? print "YES: $f{$_}" : print "PANIC: $_"' uuids.txt

時間の違いを説明するために、18001が対応するファイル名を持つ20000 UUIDのファイルで、bashアプローチ、choroba's、およびperlをテストしました。各テストは、スクリプトの出力をにリダイレクトすることによって実行されたことに注意してください/dev/null。

1. 私のバッシュ（〜3.5分）

   real   3m39.775s
   user   1m26.083s
   sys    2m13.400s

2. チョロバ（bash、〜0.7秒）

   real   0m0.732s
   user   0m0.697s
   sys    0m0.037s

3. 私のperl（〜0.1秒）：

   real   0m0.100s
   user   0m0.093s
   sys    0m0.013s

これは純粋なBash（つまり、外部コマンドなし）であり、私が考えることができる最も簡潔なアプローチです。

しかし、パフォーマンスに関しては、現在のパフォーマンスよりもはるかに優れているわけではありません。

から各行を読み取りpath/to/fileます。各行について、最初のフィールドを格納し$uuid、パターンに一致するファイルpath/to/directory/$uuid*が見つからない場合はメッセージを出力します。

#! /bin/bash
[ -z "$2" ] && printf 'Not enough arguments.\n' && exit

while read uuid; do
    [ ! -f "$2/$uuid"* ] && printf '%s missing in %s\n' "$uuid" "$2"
done <"$1"

でそれを呼び出しpath/to/script path/to/file path/to/directoryます。

質問のサンプルファイルを含むテストディレクトリ階層の質問のサンプル入力ファイルを使用したサンプル出力：

% tree
.
├── path
│   └── to
│       ├── directory
│       │   └── d6f60016-0011-49c4-8fca-e2b3496ad5a7_20160204_023-ERROR
│       └── file
└── script.sh

3 directories, 3 files
% ./script.sh path/to/file path/to/directory
d5873483-5b98-4895-ab09-9891d80a13da* missing in path/to/directory
be0ed6a6-e73a-4f33-b755-47226ff22401* missing in path/to/directory

unset IFS
set -f
set +f -- $(<uuid_file)
while  [ "${1+:}" ]
do     : < "$source_directory/$1"*  &&
       printf 'File for %s has arrived.\n' "$2"
       shift 2
done

ここでの考え方は、シェルが報告するエラーの報告について心配することではありません。<存在しないファイルを開こうとすると、シェルは文句を言うでしょう。実際、$0エラーが発生すると、スクリプトとエラーが発生した行番号がエラー出力の前に追加されます...これは、デフォルトですでに提供されている優れた情報です-気にしないでください。

また、そのようにファイルを1行ずつ入力する必要はありません。非常に遅くなる可能性があります。これにより、全体が1つのショットで空白で区切られた引数の配列に拡張され、一度に2つ処理されます。データが例と一致している場合は、$1常にuuidになり、$2になります$name。bashuuidとの一致を開くことができ、そのような一致が1つしか存在しない場合は、次にprintf発生します。それ以外の場合はそうではなく、シェルはその理由についてstderrに診断を書き込みます。

私がそれに取り組む方法は、最初にファイルからuuidを取得してから使用することです find

awk '{print $1}' listfile.txt  | while read fileName;do find /etc -name "$fileName*" -printf "%p FOUND\n" 2> /dev/null;done

読みやすさのために

awk '{print $1}' listfile.txt  | \
    while read fileName;do \
    find /etc -name "$fileName*" -printf "%p FOUND\n" 2> /dev/null;
    done

のファイルリストを使用した例/etc/。passwd、group、fstab、およびTHISDOESNTEXISTファイル名を検索しています。

$ awk '{print $1}' listfile.txt  | while read fileName;do find /etc -name "$fileName*" -printf "%p FOUND\n" 2> /dev/null; done
/etc/pam.d/passwd FOUND
/etc/cron.daily/passwd FOUND
/etc/passwd FOUND
/etc/group FOUND
/etc/iproute2/group FOUND
/etc/fstab FOUND

ディレクトリがフラットであると説明したので、-printf "%f\n"ファイル名自体を印刷するオプションを使用できます

これが行わないことは、不足しているファイルをリストすることです。findの小さな欠点は、ファイルが見つからないかどうかを通知せず、何かと一致する場合のみです。しかし、できることは出力をチェックすることです-出力が空の場合、ファイルがありません

awk '{print $1}' listfile.txt  | while read fileName;do RESULT="$(find /etc -name "$fileName*" -printf "%p\n" 2> /dev/null )"; [ -z "$RESULT"  ] && echo "$fileName not found" || echo "$fileName found"  ;done

より読みやすい：

awk '{print $1}' listfile.txt  | \
   while read fileName;do \
   RESULT="$(find /etc -name "$fileName*" -printf "%p\n" 2> /dev/null )"; \
   [ -z "$RESULT"  ] && echo "$fileName not found" || \
   echo "$fileName found"  
   done

そして、これは小さなスクリプトとしてどのように機能するかです：

skolodya@ubuntu:$ ./listfiles.sh                                               
passwd found
group found
fstab found
THISDONTEXIST not found

skolodya@ubuntu:$ cat listfiles.sh                                             
#!/bin/bash
awk '{print $1}' listfile.txt  | \
   while read fileName;do \
   RESULT="$(find /etc -name "$fileName*" -printf "%p\n" 2> /dev/null )"; \
   [ -z "$RESULT"  ] && echo "$fileName not found" || \
   echo "$fileName found"  
   done

statフラットディレクトリであるため、代替として使用することもできますが、次のコードは、サブディレクトリを追加することにした場合、再帰的に機能しません。

$ awk '{print $1}' listfile.txt  | while read fileName;do  stat /etc/"$fileName"* 1> /dev/null ;done        
stat: cannot stat ‘/etc/THISDONTEXIST*’: No such file or directory

statアイデアを取り入れて実行すると、statの終了コードをファイルが存在するかどうかの指標として使用できます。事実上、これを実行したいのです。

$ awk '{print $1}' listfile.txt  | while read fileName;do  if stat /etc/"$fileName"* &> /dev/null;then echo "$fileName found"; else echo "$fileName NOT found"; fi ;done

サンプル実行：

skolodya@ubuntu:$ awk '{print $1}' listfile.txt  | \                                                         
> while read FILE; do                                                                                        
> if stat /etc/"$FILE" &> /dev/null  ;then                                                                   
> echo "$FILE found"                                                                                         
> else echo "$FILE NOT found"                                                                                
> fi                                                                                                         
> done
passwd found
group found
fstab found
THISDONTEXIST NOT found