11
15TBの小さなファイルを転送する
あるサーバーから別のサーバーにデータをアーカイブしています。最初はrsync仕事を始めました。5 TBのデータのファイルリストを作成するのに2週間、1 TBのデータを転送するのにさらに1週間かかりました。 その後、新しいサーバーでいくつかのダウンタイムが必要になるため、ジョブを強制終了する必要がありました。 おそらく再びアクセスする必要はないので、それをtarすることに同意しました。500 GBのチャンクに分割することを考えていました。私がtarそれをした後、私はそれをコピーしようとしましたssh。私は使用tarしてpigzいましたが、それでも遅すぎます。 それを行うより良い方法はありますか？両方のサーバーがRedhat上にあると思います。古いサーバーはExt4で、新しいサーバーはXFSです。 ファイルサイズは数KBから数MBの範囲で、5 TBには2400万のJPEGがあります。ですから、15TBで約6,000万から8,000万を推測しています。 編集：数日間rsync、nc、tar、mbuffer、pizzで遊んだ後。ボトルネックはディスクIOになります。データが500個のSASディスクと約2億5千万個のjpegにストライプ化されているため。しかし、今では、将来使用できるこれらすべての素晴らしいツールについて学びました。