1つのサーバーから別のサーバーに約300 GBのファイルを転送する

現在、約200,000個のファイルを新しいサーバーに転送しています。私はこれまで大規模なことを何もしたことがなかったので、これをどうすればよいかについてアドバイスを受けたいと思いました。私は2つのCentos 6ディストリビューション間でそれらを移動していますが、それらは国内の異なる場所にあります。元のサーバーにすべてのディレクトリとファイルを1つの巨大なtarballにtarするのに十分なHDDスペースがないので、私の質問はこれらのファイルをすべて転送する方法です。rsync？rsyncを使用する特別な方法はありますか？それを行う方法に関する入力/提案は驚くべきものです。

ありがとう

編集：不思議な人のために、私はこのようなscreen大きなrsyncコマンドを実行するときにAを使用することを強くお勧めします。特に、何かおかしいことが起こり、rsyncコマンドを実行しているサーバーAへの接続が失われた場合。次に、画面を切り離して、後で再開します。

サイモンの答えを具体化するにrsyncは、仕事に最適なツールです。

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

リモートマシンへのsshアクセスがあると仮定すると、次のようなことをしたいでしょう。

rsync -hrtplu path/to/local/foo user@remote.server.com:/path/to/remote/bar

これにより、ディレクトリpath/to/local/fooが/path/to/remote/barリモートサーバーにコピーされます。という名前の新しいサブディレクトリbar/fooが作成されます。ターゲットにその名前のディレクトリを作成せずにディレクトリの内容のみをコピーする場合は、末尾にスラッシュを追加します。

rsync -hrtplu path/to/local/foo/ user@remote.server.com:/path/to/remote/bar

これにより、コンテンツがfoo/リモートディレクトリにコピーされbar/ます。

関連するいくつかのオプション：

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

コピーの速度と、使用可能な帯域幅に依存します。

不十分なネットワーク接続については、テープでいっぱいのトラックの帯域幅を考慮してください。（読んでください：2.5インチのHDDを郵送するか、自分でそこに置いてください。300ギガビットドライブは簡単に見つけることができます）。

時間がそれほど重要でない場合、または十分な帯域幅がある場合は、rsyncが最適です。エラーが発生した場合、以前のファイルを再コピーせずに続行できます。

[編集]コピー中にデータが使用された場合、rsyncを数回実行できることを追加するのを忘れました。

例：
1）使用中のデータ。Rsync->すべてのデータがコピーされます。これには時間がかかる場合があります。
2）rsyncを再度実行すると、変更されたファイルのみがコピーされます。これは速いはずです。

変更がなくなるまでこれを数回行うか、コピー中にデータを読み取り専用にすることでスマート/安全な方法で行うことができます。（たとえば、共有が読み取り専用になっている使用済み共有セットにある場合。または、データをrsyncしてから、夜間に共有を読み取り専用に設定し、2回目に実行する場合）。

rsyncに行きます！サーバーをオフサイトサーバーにバックアップするために使用していますが、正常に機能します。通常、コピーする数MBがありますが、数日で20〜30 GBになり、問題なく動作しました。

ギガビット接続を使用したNFS経由のrsyncには、約10時間かかりました。HDD上のデータをコピーし、サーバー間で移動することをお勧めします。実際にディスクの1対1のコピーを作成する必要がある場合は、ddまたはそのようなものを使用して、ディスクの生のイメージを作成します。ssh（scp）を使用すると、大きなオーバーヘッドが発生します。ギガビット接続で実験的にテストされています。rsyncは、HAまたはバックアップモードで使用される2つのサーバー間で増分同期を行うのに適しています。私は推測する。

初めてNFSとtar / untarを使用します（この場合、NFSが最も高速なプロトコルです。tarはより多くのCPU使用率によりネットワーク帯域幅を節約します）

tar cf - * | ( cd /target; tar xfp -)

次回はrsyncを使用します