ネットワーク経由で20 TBのデータを転送するには、どのプログラムを使用する必要がありますか？

20TBのデータをサンダーボルトアレイにコピーする必要があります。データが存在するボックスには落雷接続がないため、これにはローカルの1GBネットワークを使用する必要があります。（はい、それは永遠にかかります）。

Filezilla / sftpを使用しようとしましたが、キューが非常に大きくなるとクラッシュしました。rsyncまたはscpを使用する方法はありますか？

rsyncは良い方法です（scpは機能が少なくてもほぼ同じです）。-Zzlib圧縮を有効にするオプションを使用することもできます。ドライブ/コンピューターの速度によっては、非圧縮で送信するよりも高速になる場合があります。つまり、ネットワークリンクが飽和している場合です。アーカイブモードオプションも必要な場合があります。-aこのオプションでは、シンボリックリンク、アクセス許可、作成/変更時間を保持し、ディレクトリを再帰的にコピーします。コピーする内容に応じて、-E拡張属性とMacリソースフォークを保持したい場合があります。最後に、--progress進捗情報が表示されます。

rsyncほどユビキタスではありませんが、過去に「mpscp」というツール呼び出しを使用しました-http ://www.sandia.gov/MPSCP/mpscp_design.htm

Sandia National Labsからは、SSHを介して実行されるファイルコピーツールであり、近接システム間で高速ネットワークを飽和させるように特別に最適化されています（10Gb +またはInfinibandを介して接続された同じサイトの2台のスーパーコンピューター間でテラバイトのデータをコピーするなど）。それはうまく機能しますが、セットアップには少し苦痛があります。テストでは、rsyncよりも2倍から3倍高速で実行されることが簡単にわかりました。

rsyncを使用し、rsyncdで使用することを検討してください。rsyncdを使用せずにrsyncを使用すると、sshの使用が滞ります。これは、何らかの暗号化を使用することを意味します。古いマシンから新しいマシンにデータをコピーしている可能性があります。古いマシンには、ギガビットイーサネットリンクを飽和状態に保つのに十分な速さでデータを暗号化するCPUがありません。両方の方法を使用してファイルのバッチ転送をテストし、どちらの方法が速いかを確認します。

同じ理由で、rsyncの圧縮オプションの使用をテストすることをお勧めします。圧縮は、CPUを集中的に使用するもう1つのアクティビティであり、古いハードウェアで試行した場合、ギガビットイーサネットの速度に対応できない場合があります。rsyncは15年前のプログラムで、最初の世界の国の大部分の人々がダイヤルアップモデム経由でインターネットにアクセスしたときに書き戻されました。その場合、ネットワーク帯域幅とCPUのトレードオフは大きく異なりました。

この20Tbは、少数の大きなファイル（ビデオ、モンスターデータベースなど）または何百万もの小さなファイルにパッケージ化されていますか？

小さなファイルがたくさんある場合は、再起動のためにrsyncを使用するか、効率のためにパイプされたtarストリームを使用します（多くの場合、1つのネットワーク接続、失敗した場合は最初からやり直します）

tar -cf - * | ( cd newhome; tar -xf - )

リモートフォルダをマウントする必要があります。

別のインターフェイスで新しいアレイを直接接続できますか？ローカルrsyncはsshを使用しないため、その障害ポイントを削除します。はい、Firewire 800はギガビットイーサネットよりも遅いですが、イーサネットを100％にロードすることはできません-firewireの方が速いかもしれません。参考までに、ボックスが十分に近い場合は、ファイアワイヤをネットワーク化することもできます。システム設定->ネットワークにインターフェースを追加します。

別のオプションは、Bittorrent Sync（http://www.bittorrent.com/sync）を試すことです。WANを介して家族のメンバー間で家族の写真やビデオを同期するために使用しましたが、ローカルネットワークで機能しない理由はありません。ピアツーピア接続を使用しているため、ドロップボックスのようなものを使用しようとした場合のように、データはサーバーを通過しませんデータ！）

複数のプラットフォームでもサポートされているため、rsyncやtarよりも柔軟性があります。