何百万ものファイルを特定の名前パターンを持つ別のディレクトリに移動する

Linuxマシンには、次の命名法の何百万ものファイルがあります。

1559704165_a1ac6f55fef555ee.jpg

最初の10桁はタイムスタンプで、その後に続く1桁_は特定のIDです。特定のファイル名IDに一致するすべてのファイルを別のフォルダに移動したい。

私はファイルのあるディレクトリでこれを試しました

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

ただし、次のエラーが表示されます。

bash 1559704165_a1ac6f55fef555ee.jpg: command not found

試したところ、mv ??????????_a1ac*.jpg 引数リストが長すぎるというエラーが発生しました。少なくとも15の異なるファイル名パターンがあります。それらを移動するにはどうすればよいですか。

あなたは使うべきです：

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' \
-exec mv -t destination "{}" +

つまりmaxdepth 1、現在のディレクトリでサブディレクトリを検索しないことを意味します。

type f ファイルのみを検索することを意味します。

name '??????????_a1ac*.jpg' 検索しているファイルと一致するパターンです。

mv -t destination "{}" +一致したファイルを宛先に移動することを意味します。ここで+は、次のように新しい一致したファイルを以前のファイルに追加します。

mv -t dest a b c d

ここでabcdは異なるファイルです。

あなたの命令、

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

すべてのファイルのリストをすべてのファイルにパイプします！

find . -maxdepth 1 -type f -name `*_a1ac*.jpg` -print0 |\
xargs  -0 -r mv -t "/home/ubuntu/ntest"

トリックを行います。

あなたはとても近いです。-nameオプションを使用してくださいfind。そして、パターンを引用することを忘れないでください。

そう

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' |xargs mv -t "/home/ubuntu/ntest"

findソリューションほど「良い」ものではありませんが、mvコマンドをより細かくすることが別の有効なソリューションです。

これは4096の移動を行い、1回のmv操作で移動されるファイルの数は少なくなります。

FILEPAT=a1ac
for i in $(seq $((0x000)) $((0xfff))); 
do 
   H=$(printf '%x\n' $i)
   mv 1559704165_${FILEPAT}${H}*.jpg /home/ubuntu/ntest
done

あなたは私はあなたがあなたにやっていると思い、同じホスト・システム上のファイルを、移動したい場合はmv、rsyncより高速な選択肢が考えられます。

rsync -av --inplace -W /source/??????????_a1ac*.jpg /home/ubuntu/ntest/

--inplaceおよび-Wプロセスをスピードアップするように設定されています。

これにより別の引数リストが長すぎるエラーが発生する場合は、リストをrsync

たとえば、検索でリストを作成します

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' > /tmp/my_image_list.txt

そしてそれを与える rsync

rsync -av --inplace -W --files-from=/tmp/my_image_list.txt /path/to/files /home/ubuntu/ntest/

ここでのソースはです/path/to/files。これは、rsyncが与えるリストをソースとの相対として扱うためです。

重要rsyncなのはmv、ファイルが同じファイルシステム上にない場合は、よりも高速です。