Linuxで1つのディレクトリから別のディレクトリに100万のイメージを移動する最も速い方法は何ですか？

1つのローカルディレクトリから別のローカルディレクトリに移動する必要がある30GBのディスク領域を占める100万のイメージがあります。

これを行う最も効率的な方法は何でしょうか？使い方mv？使い方cp？使い方rsync？他に何か？

私はこれらを取る必要があります：

/path/to/old-img-dir/*
                     00000000.jpg
                     --------.jpg  ## nearly 1M of them! ##
                     ZZZZZZZZ.jpg

ここに移動します：

/path/to/new/img/dir/

rsync ローカルシステムとリモートシステムの両方に対応する多くのクライアント/サーバーバックグラウンド処理を行うため、これは適切な選択ではありません。

mvおそらく最良の選択です。可能であれば、mv directory_old directory_newではなく試してくださいmv directory_old/* directory_new/。このようにして、100万個ではなく1個のものを移動します。

find src_image_dir/ -type f -name '*.jpg' -print0 | xargs -0r mv -t dst_image_dir/ 

• これは引数の展開をオーバーフローしません。
• 必要に応じて、ファイル拡張子を指定できます。（-名前 ...）
• find -print0with xargs -0では、名前にスペースを使用できます。
• xargs -r移動するものがmvなければ実行されません。（mvソースファイルが与えられないと文句を言うでしょう）。
• この構文でmv -tは、最初に宛先を指定し、次にで必要なソースファイルを指定できますxargs。
• ディレクトリに含まれるファイルの数に関係なく一定の時間内に行われるため、ディレクトリ全体の移動はもちろんはるかに高速ですが、
  • ソースディレクトリが少しの間消え、問題が発生する可能性があります。
  • プロセスが現在のディレクトリを出力ディレクトリとして使用している場合（常に移動しない場所からの絶対パスを参照するのとは対照的）、それを再起動する必要があります。（ログローテーションで行うように）。

ちなみに、本当に大量のファイルを一度に移動する必要があるのか​​と自問します。バッチ処理は過大評価されています。出来上がった瞬間に処理できるのであれば、膨大な量の作業を積み重ねないようにしています。

2つのディレクトリが同じファイルシステムにある場合mvは、ディレクトリのコンテンツではなく、ディレクトリで使用します。

2つの異なるファイルシステムにある場合は、rsyncを使用します。

rsync -av /source/directory/ /destination

/ソースの末尾に注意してください。つまり、ディレクトリ自体ではなく、ディレクトリのコンテンツをコピーします。/オフのままにしても、ファイルはコピーされますが、という名前のディレクトリに置かれ/destination/directoryます。/を使用すると、ファイルは/destination

rsyncルートとして実行した場合、またはファイルの所有者である場合は、ファイルの所有権を維持します。また、mtime個々のファイルのを維持します。

tar cf - dir1 | (cd dir2; tar xf -)

tar cf - dir1 | ssh remote_host "( cd /path/to/dir2; tar xf - )"

'cp'を使用すると、各ファイルはopen-read-close-open-write-closeを実行します。Tarは、読み取りと書き込みに複数のプロセスを使用し、同時に複数のトレッドを操作して複数のファイルを操作します。シングルCPUボックスでも、マルチスレッドアプリの方が高速です。

directory_oldとdirectory_newの両方が同じファイルシステム上cp -lにあるmvため、オプションとしてではなく使用できます。cp -l元のファイルへのハードリンクを作成します。「移動」が完了し、結果に満足したら、これらのファイルをdirectory_oldから削除できます。速度の点では、最初にリンクを作成してから元のリンクを削除するため、「mv」と同じになります。しかし、このアプローチでは、これが理にかなっている場合、最初から始めることができます

それは依存します（tm）。ファイルシステムがコピーオンライトの場合、コピー（cpまたはrsyncなど）はムーブに相当するはずです。しかし、ほとんどの一般的なケースでは、移動（mv）が最速になります。移動（）は、ファイルの配置場所を示すデータの断片を切り替えるだけなので（注：これは過度に単純化されています）。

だから、あなたの平均的なLinuxインストールでは、私は行くでしょうmv。

編集： @FrédéricHamidiはコメントで良い点を持っています：これは、両方が同じファイルシステムとディスク上にある場合にのみ有効です。それ以外の場合、データはとにかくコピーされます。

少なくとも〜10kのファイル（ディレクトリなし）をコピーするために、cpは次のように不平を言いました：

/ bin / cpを実行できません：引数リストが長すぎます

最適なオプションはRsyncです。

rsyncソースターゲット

そして、それは非常に迅速に行われました！

空き容量がある場合は、それらを単一の.tarファイルにアーカイブし（圧縮なしの方が高速です）、そのファイルを移動してアーカイブ解除します。

宛先の性質により、このタスクを実行する最も効率的な方法が決まります。あなたがローカルシステム上にいると仮定しましょう、あなたPWDは/今です。そして/a、画像の何百万人が含まれています。私たちの仕事は/b、すべてのサブディレクトリ構造を維持しながら、すべての画像をに移動することです。また、それぞれがローカルに接続されたディスク上の2つの異なるパーティションのマウントポイントであると仮定/aし/bます。ターピペでこのタスクを実行したいと思います。これには多少時間がかかる場合がありますので、必ず使用している作るscreen、tmuxまたはあなたは、バックグラウンド・プロセスとしてこれを実行します。

tar -C /a -cf . | tar -C /b -xf -

これにより、すべてのファイルとディレクトリがにコピーされる/aため/b、/aエラーなしで完了したことを確認したら、クリーンアップする必要があります。