高速なs3バケット複製

私はs3cmdよりもバケットを複製するためのより良いコマンドラインツールを見つけようとしています。 s3cmd各ファイルをダウンロードしてアップロードしなくてもバケットを複製できます。s3cmdを使用してバケットを複製するために通常実行するコマンドは次のとおりです。

s3cmd cp -r --acl-public s3://bucket1 s3://bucket2

これは機能しますが、APIを介して各ファイルを1つずつコピーするため、非常に低速です。場合s3cmd並列モードで実行することができ、私はとても幸せに思います。

より高速なバケットを複製するためにコマンドラインツールまたはコードとして使用できる他のオプションはありますs3cmdか？

編集：s3cmd-modificationがまさに私が探しているもののようです。残念ながらうまくいきません。他のオプションはありますか？

AWS CLIは完全にその仕事をするようであり、公式にサポートされているツールであることのボーナスがあります。

aws s3 sync s3://mybucket s3://backup-mybucket

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

デフォルトで同時転送をサポートします。http://docs.aws.amazon.com/cli/latest/topic/s3-config.html#max-concurrent-requestsを参照してください

多数の小さなファイルをすばやく転送するには、EC2インスタンスからスクリプトを実行してレイテンシmax_concurrent_requestsを減らし、レイテンシの影響を減らすために増やします。例えば：

aws configure set default.s3.max_concurrent_requests 200

AWSコンソールを使用してもかまわない場合は、次のことができます。

1. 最初のバケット内のすべてのファイル/フォルダーを選択します
2. [アクション]> [コピー]をクリックします
3. 新しいバケットを作成して選択します
4. [アクション]> [貼り付け]をクリックします

それはまだかなり遅いですが、あなたはそれをそのままにして、それをその仕事に任せることができます。

AWSウェブコンソールを使用して2つのバケット、s3cmdおよびAWS CLI を複製してみました。これらの方法はほとんどの場合機能しますが、非常に遅くなります。

次にs3s3mirror、2つのS3バケットを同期するための専用ツールが見つかりました。それはマルチスレッドで、私が試した他のアプローチよりもはるかに高速です。ギガバイトのデータをAWSリージョン間ですばやく移動しました。

https://github.com/cobbzilla/s3s3mirrorで確認するか、https： //registry.hub.docker.com/u/pmoust/s3s3mirror/からDockerコンテナーをダウンロードしてください。

アドホックソリューションの場合aws cli、バケット間の同期に使用します。

aws s3 sync速度は以下に依存します。
-S3エンドポイントへのAPI呼び出しのレイテンシ
-同時に行われたAPI呼び出しの量

同期速度を上げるために：
-実行aws s3 syncAWSインスタンス（FreeBSD上でc3.largeはOKです;-)）から
-更新〜/ .aws /設定と：
- max_concurrent_requests = 128
-max_queue_size = 8096

次の構成とインスタンスタイプを使用して、バケット（309GB、72Kファイル、us-east-1）を474秒以内に同期できました。

より一般的なソリューションについては、AWS DataPipeLineまたはS3クロスリージョンレプリケーションを検討してください。

これは、この主題に関するGoogleの最初のヒットに関するものであるため、追加情報を追加します。

'Cyno'は、新しいバージョンのs3cmd-modificationを作成しました。これにより、バケット間の同期が並列にサポートされるようになりました。まさに私が待っていたもの。

プルリクエストはhttps://github.com/pcorliss/s3cmd-modification/pull/2にあり、彼のバージョンはhttps://github.com/pearltrees/s3cmd-modificationにあります

他のS3コマンドラインツールについては知りませんが、ここで何も表示されない場合は、独自に作成するのが最も簡単です。

好きな言語とAmazon SDK / Toolkitを選択してください。次に、ソースバケットの内容を一覧表示/取得し、各ファイルをコピーするだけです（明らかに並列処理）。

s3cmd-modificationのソースを見ると（私はpythonについて何も知らないと認めています）、バケット間コードを並列化していないようですが、開始点として標準のアップロード/ダウンロード並列コードを使用できます。これを行う。

単純な方法aws s3 cp s3://[original-bucket] s3://[backup-bucket] --recursiveがうまく機能します（aws cliのセットアップがある場合）