10 TBのファイルを米国から英国のデータセンターに転送します

あるデータセンターから別のデータセンターに、米国から英国にサーバーを移行しています。私のホストは、毎秒11メガバイトを達成できるはずだと言いました。

オペレーティングシステムは、両端がWindows Server 2008です。

私の平均ファイルサイズは約100 MBで、データは5つの2 TBドライブに分割されています。

これらのファイルを転送するための推奨される方法は何ですか？

• FTP
• SMB
• Rsync / Robocopy
• その他？

これらはいずれにせよパブリックファイルなので、セキュリティについてあまり気にしませんが、総転送時間を最小限に抑えるためにフルの11 MB / s転送速度をプッシュできるソリューションが必要です。

代わりに、海を渡ってハードドライブを出荷します。

11 Mbpsで完全に使用されている場合、10 TBを転送するのにわずか90日しかかかりません。

11 Mbpsの= 1.375 MBpsの= 116.015ギガバイト/日。

10240 GB / 116.015 GB /日= 〜 88 .3 日

rsyncと言えば、11 MB / sで10〜14日を見ることができ、中断されても、rsyncは前回停止したところから簡単に開始します。

11 Mbpsで、上記のようにハードディスクを出荷します:)

もちろん、Rsync。

少なくとも休憩の後はいつでも続行でき、痛みはありません。

テープでいっぱいのステーションワゴンの帯域幅を過小評価しないでください

-トラッド。

あなたの場合、ディスクまたはテープは宅配便で送られますが、原則は引き続き適用されます。遅延を気にしない場合、これは、ネットワーク帯域幅よりもはるかに安価で、妥当な時間内に10TBのデータを転送できます。

rsyncを使用する必要があります。送信前にデータを圧縮し、重複を排除します。また、部分的な転送を再開することもできます。これは、大規模な転送には非常に重要です。

10 TBを転送しない可能性があります。ログやテキストなどの場合は、1 TB未満になる可能性があります。おそらく1 TB未満です。

rsyncよりも優れた圧縮を行うツールがあり、より多くの一致を見つける可能性があります。lrzipなどを使用できます

圧縮率が低く、文字通りの重複を含まない特定の種類のデータがあります。たとえば、ビデオやその他のメディアです。これらの場合、FTPとrsyncはほぼ同じ努力をしています。

これはすでに受け入れられていることは知っていますが、より多くの帯域幅を取得できるデータセンター/プロバイダー/ホストにディスクを持ち込むことを検討しましたか？おそらくいくらか費用がかかりますが、10240Gbをバックアップディスクにコピーして送信するには、時間とお金（2 xお金）の両方がかかります。

また、輸送中にディスクが破損しないことを確認します。

11Mbps？これはここにあるかなりの制限です。あなたの状況では、私は単に：

• データを複製する
• 圧縮する
• 少なくとも10倍以上の帯域幅で両端にサーバーをレンタルします（同じデータセンター内、またはあなたの近くのデータセンター内の端）。
• ファイルを転送する
• データを新しいサーバーに適用します。

帯域幅を増やす解決策が本当にない場合...物理ドライブの出荷はずっと速くなります。

私の苦痛な経験から、ハードドライブはメールを壊す傾向があります... USBフラッシュドライブは、頻繁なデータ転送のためのより良いソリューションです。あなたの場合、それらのいくつかが必要になります:)したがって、複数のハードドライブにデータのコピーを2つ送信してください。

持っているデータの量を考慮すると、同じハードウェア/ソフトウェアを反対側に接続してドライブを接続する場合、RAID 5またはRAID 6アレイからドライブを送信することもできます。ただし、その場合は、ドライブの順序そしてそれらのシリアル番号は、再構成するときに混乱しないようにします。

この場合、「ハードドライブを使用して出荷する」という答えに同意する必要がありますが、ここでは、大量のファイルを初めてコピーする必要があるときに使用するコピーソリューションを示します。

一方でrsync同期して二つのデータストレージを保つために良いですが、それは最初の転送のために不必要なオーバーヘッドのかなりを紹介します。私は最速の方法tarがパイプされることであると考えましたnetcat。受信サイトであなたも使用することができますnetcatで聞く抽出したパイプ着信データモードtar。利点は、tarすぐにnetcat送信を開始し、余分な高レベルのプロトコルオーバーヘッドなしでプレーンTCPストリームとして送信することです。これは、できるだけ速くする必要があります。ただし、中断した転送を最後の位置から再開することは簡単ではありません。

また、適切なtarオプションを使用するか、パイプに圧縮ツールを追加することにより、転送用のデータを圧縮することも簡単に可能です。netcat暗号化されていない日付を送信することに注意してください。これがオプションではない場合、ssh代わりに暗号化された接続を使用できます（tar <options> | ssh <target> -c 'tar -x <options>'）。

すべてのデータが転送さrsyncれる場合、その間に更新されたすべてのファイルが確実に同期されるように使用できます。また、IIRC tarはそうでなければ失われるソケットを作成しませんが、とにかくデータセンターデータには実際には使用されません。

IPoACを検討しましたか？

1羽の鳩は、約1時間で数十ギガバイトのデータを運ぶことができます。これは、失われたドライブを考慮した場合でも、平均帯域幅ベースで現在のADSL標準と非常に有利です。

繰り返しますが、最初の提案はドライブを出荷することです。

2番目の提案は、SSHではなくrsyncをrsyncdに使用することです。私は多くのことを試しましたが、通常は最速です。圧縮を有効にしてください。また、rsyncバッファーサイズの増減を見て、最適な転送速度を取得してください。また、MTUサイズを増やすのに役立つ場合があります。これは、途中のルーターがパケットを断片化しない場合にのみ役立ちます。それらを行うかどうかを判断する方法があります。

残念ながら、常に最良の設定はありません。状況に応じて最適なものを見つけるために実験する必要があります。

サーバーはWindows 2008を実行していると述べましたが、Microsoft DFSは適していますか？下端には、接続から可能な限り多くの帯域幅を取得しようとする魔法があり、圧縮と重複排除（IIRC）も備えています。

ハードドライブ、DVD、またはBluRaysの方が高速になります...私の計算は11 MB / sで11日間です...

これにはトレントを使用できます。

一方でプライベートトレントを作成し、他方でクライアントを使用します。

暗号化が設定されていますが、要件を確認する必要があります。