S3バケット間でファイルを移動する最良の方法？

一部のファイルを本番バケットから開発バケットに毎日コピーしたいと思います。

例：productionbucket / feed / feedname / dateをdevelopmentbucket / feed / feedname / dateにコピーします

必要なファイルはフォルダ構造の奥深くにあるため、各フォルダに移動してコピー/貼り付けするのに時間がかかりすぎます。

ドライブを各バケットにマウントしてWindowsバッチスクリプトを記述してみましたが、それは非常に遅く、すべてのファイル/フォルダーをローカルサーバーに不必要にダウンロードして、再度バックアップします。

更新

以下のようalbergeによって指摘（1）、最近で優れたAWSコマンドラインインタフェース（ほぼ）すべてのもののAWSと対話するための最も汎用的なアプローチを提供します-それは一方で、ほとんどのサービスのAPIをカバーし、また、特徴、より高いレベルのS3のコマンドを扱うためのあなた具体的な使用例については、S3のAWS CLIリファレンスをご覧ください。

• 同期 - 同期ディレクトリとS3の接頭辞。あなたのユースケースがで覆われている例2（より細かいと使用状況をきめ--exclude、--includeおよびなどを扱う接頭辞でも入手可能です）：

  次のsyncコマンドは、s3オブジェクトをコピーして、指定されたプレフィックスとバケットの下のオブジェクトを、別の指定されたプレフィックスとバケットの下のオブジェクトに同期します。[...]

  aws s3 sync s3://from_my_bucket s3://to_my_other_bucket
  

完全を期すために、下位レベルのS3コマンドも引き続きs3apiサブコマンドを介して利用できることを述べます。これにより、最終的に上位レベルの機能を採用する前に、SDKベースのソリューションをAWS CLIに直接変換できます。

最初の回答

S3バケット間でのファイルの移動は、PUT Object-Copy API（その後にDELETE Object）を使用して実行できます。

このPUT操作の実装は、Amazon S3にすでに格納されているオブジェクトのコピーを作成します。PUTコピー操作は、GETを実行してからPUTを実行するのと同じです。リクエストヘッダーx-amz-copy-sourceを追加すると、PUT操作でソースオブジェクトが宛先バケットにコピーされます。ソース

利用可能な既存のすべてのAWS SDKのそれぞれのサンプルがあります。単一のオペレーションでのオブジェクトのコピーを参照してください。当然のことながら、ここではスクリプトベースのソリューションが明らかに最初の選択肢となるため、AWS SDK for Rubyを使用してオブジェクトをコピーすることから始めるとよいでしょう。代わりにPythonを使用する場合は、もちろんbotoを使用しても同じことができcopy_key()ます。botoのS3 APIドキュメントのmethodを参照してください。

PUT ObjectファイルをコピーするだけなのでDELETE Object、コピー操作が成功した後でも、ファイルを明示的に削除する必要がありますが、バケットとファイル名を処理する全体的なスクリプトが適切になったら、数行だけです（それぞれの例もあります） 、たとえば、リクエストごとに1つのオブジェクトを削除するをご覧ください）。

新しい公式AWS CLIは、のほとんどの機能をネイティブでサポートしていますs3cmd。私は以前、s3cmdまたはruby AWS SDKを使用してこのようなことをしていましたが、公式のCLIはこれに適しています。

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

aws s3 sync s3://oldbucket s3://newbucket

バケット間を移動またはコピーするには、s3cmdツールを使用して問題なく動作します。例えば：

s3cmd cp --recursive s3://bucket1/directory1 s3://bucket2/directory1
s3cmd mv --recursive s3://bucket1/directory1 s3://bucket2/directory1

これに必要なコピーを並列化するために独自のカスタムツールを作成するのに何日も費やしましたが、AWS S3 CLIの同期コマンドを使用してバケットを大規模な並列化と同期する方法に関するドキュメントに出くわしました。次のコマンドは、1,000個のスレッドを使用してジョブ（それぞれ小さなファイルまたはマルチパートコピーの一部）を実行し、100,000個のジョブを先読みするようAWS CLIに指示します。

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

これらを実行した後、次のように単純なsyncコマンドを使用できます。

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

m4.xlargeマシン（AWS--4コア、16GB RAM）では、私の場合（3-50GBファイル）、同期/コピー速度は約9.5MiB / sから700 + MiB / sになり、速度はデフォルト構成の70倍。

更新：S3CMDは長年にわたって更新されており、これらの変更は多数の小さなファイルで作業している場合にのみ有効になることに注意してください。また、Windows上のS3CMD（Windowsのみ）は、全体的なスループットに深刻な制限があり、使用するインスタンスのサイズや設定に関係なく、プロセスあたり約3Gbpsしか達成できないことにも注意してください。S5CMDのような他のシステムにも同じ問題があります。私はこれについてS3チームに話しました、そして彼らはそれを調査しています。

要求された.NETの例：

using (client)
{
    var existingObject = client.ListObjects(requestForExisingFile).S3Objects; 
    if (existingObject.Count == 1)
    {
        var requestCopyObject = new CopyObjectRequest()
        {
            SourceBucket = BucketNameProd,
            SourceKey = objectToMerge.Key,
            DestinationBucket = BucketNameDev,
            DestinationKey = newKey
        };
        client.CopyObject(requestCopyObject);
    }
}

クライアントは次のようなものです

var config = new AmazonS3Config { CommunicationProtocol = Protocol.HTTP, ServiceURL = "s3-eu-west-1.amazonaws.com" };
var client = AWSClientFactory.CreateAmazonS3Client(AWSAccessKey, AWSSecretAccessKey, config);

より良い方法があるかもしれませんが、それは私がいくつかのファイルを転送させるために書いたいくつかの簡単なコードです。

AWS内にUNIXホストがある場合は、s3tools.orgのs3cmdを使用します。キーが開発バケットへの読み取りアクセスとなるように権限を設定します。次に実行します：

s3cmd cp -r s3://productionbucket/feed/feedname/date s3://developmentbucket/feed/feedname

私にとっては、次のコマンドがうまくいきました：

aws s3 mv s3://bucket/data s3://bucket/old_data --recursive

これを実行するためのRubyクラスは次のとおりです。https：//gist.github.com/4080793

使用例：

$ gem install aws-sdk
$ irb -r ./bucket_sync_service.rb
> from_creds = {aws_access_key_id:"XXX",
                aws_secret_access_key:"YYY",
                bucket:"first-bucket"}
> to_creds = {aws_access_key_id:"ZZZ",
              aws_secret_access_key:"AAA",
              bucket:"first-bucket"}
> syncer = BucketSyncService.new(from_creds, to_creds)
> syncer.debug = true # log each object
> syncer.perform

実際、最近では、AWS s3インターフェースでcopy + pasteアクションを使用するだけです。コピーするファイルに移動し、[アクション]-> [コピー]をクリックして、宛先バケットに移動し、[アクション]-> [貼り付け]をクリックします。

それは非常に迅速にファイルを転送し、プログラミングを必要としない複雑なソリューションのように見えるか、そのようなトップソリューションよりも優れています。

SnowplowでのETLジョブでこの問題が発生したため、並列ファイルコピーコード（Ruby、Fogの上に構築）をSluiceという独自のRuby gemに抽出しました。

https://github.com/snowplow/sluice

Sluiceは、S3ファイルの削除、移動、ダウンロードも処理します。すべてが並列化され、操作が失敗した場合は自動的に再試行されます（これは驚くほど頻繁に行われます）。お役に立てれば幸いです。

私はこれが古いスレッドであることを知っていますが、そこに到達する他の人にとって、コンテンツバケットから開発用バケットにコンテンツをコピーするスケジュールされたジョブを作成することをお勧めします。

.NETを使用している場合は、この記事が役立つ場合があります

https://edunyte.com/2015/03/aws-s3-copy-object-from-one-bucket-or/

新しいバージョンaws2の場合。

aws2 s3 sync s3://SOURCE_BUCKET_NAME s3://NEW_BUCKET_NAME