タグ付けされた質問 「large-data」

あるデータセンターから別のデータセンターに、米国から英国にサーバーを移行しています。私のホストは、毎秒11メガバイトを達成できるはずだと言いました。 オペレーティングシステムは、両端がWindows Server 2008です。 私の平均ファイルサイズは約100 MBで、データは5つの2 TBドライブに分割されています。 これらのファイルを転送するための推奨される方法は何ですか？ FTP SMB Rsync / Robocopy その他？ これらはいずれにせよパブリックファイルなので、セキュリティについてあまり気にしませんが、総転送時間を最小限に抑えるためにフルの11 MB / s転送速度をプッシュできるソリューションが必要です。

96 file-transfer  large-data 

Bashのワイルドカードの展開はアルファベット順であることが保証されていますか？大きなファイルを10 Mbの断片に分割して、Mercurialリポジトリで受け入れられるようにしなければなりません。 だから私は私が使用できると思っていました： split -b 10485760 Big.file BigFilePiece. そして次に： cat BigFile | bigFileProcessor 私はそれをできた： cat BigFilePiece.* | bigFileProcessor その代わりに。 しかし、私は（別名、ワイルドカード別名、アスタリスクの拡大がいることを保証することをどこにも見つけることができなかった*ことは非常に）常にアルファベット順になります.aa前に来ました.ab（そのようなタイムスタンプの順序か何かすることはなく）。 また、私の計画に欠陥はありますか？catファイルをまとめて使用する場合のパフォーマンスコストはどれくらいですか？

53 bash  files  wildcard  large-data 

GoogleやFacebookなどの大量のデータを扱う企業は、どのようにすべてをバックアップしますか？ ウィキペディアに関するこのGoogleプラットフォームの記事によると、Googleにはそれぞれ80 GB以上のハードディスクを備えた推定450,000以上のサーバーがあります。それはたくさんのデータです。彼らは本当に1 GBのデータごとに1 GB以上のバックアップを保持していますか？

8 backup  google  large-data