S3CLIから最後に変更されたオブジェクトを取得します

プログラムでEC2インスタンスを起動し、S3から実行可能ファイルをコピーして実行し、それを実行してインスタンスをシャットダウンするというユースケースがあります（ユーザーデータで実行）。S3から最後に追加されたファイルのみを取得する必要があります。CLIを使用してS3バケットから最後に変更されたファイル/オブジェクトを取得する方法はありますか？

バケット内のすべてのオブジェクトを次のコマンドで一覧表示できますaws s3 ls $BUCKET --recursive。

$ aws s3 ls $BUCKET --recursive
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object
2015-04-29 12:09:29      32768 yet-another-object.sh

キーのアルファベット順にソートされていますが、その最初の列が最後に変更された時刻です。クイックsortは日付でそれらを並べ替えます：

$ aws s3 ls $BUCKET --recursive | sort
2015-04-29 12:09:29      32768 yet-another-object.sh
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object

tail -n 1最後の行を選択しawk '{print $4}'、4番目の列（オブジェクトの名前）を抽出します。

$ aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'
some/other/object

最後になりましたがaws s3 cp、オブジェクトをダウンロードするには、これをにドロップしてください。

$ KEY=`aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'`
$ aws s3 cp s3://$BUCKET/$KEY ./latest-object

しばらくすると、少しエレガントにする方法が少し更新されます。

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'sort_by(Contents, &LastModified)[-1].Key' --output=text

追加のreverse関数の代わりに、リストから最後のエントリを取得できます。[-1]

古い答え：

このコマンドは、外部の依存関係なしでジョブを実行します。

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'reverse(sort_by(Contents, &LastModified))[:1].Key' --output=text

aws s3api list-objects-v2 --bucket "bucket-name" |jq  -c ".[] | max_by(.LastModified)|.Key"

以下は、S3バケットから最新のファイルをダウンロードするbashスクリプトです。代わりにAWSS3 Synchコマンドを使用したので、S3からファイルが既に存在する場合はダウンロードされません。

--exclude、すべてのファイルを除外します

--include、パターンに一致するすべてのファイルを含めます

#!/usr/bin/env bash

    BUCKET="s3://my-s3-bucket-eu-west-1/list/"
    FILE_NAME=`aws s3 ls $BUCKET  | sort | tail -n 1 | awk '{print $4}'`
    TARGET_FILE_PATH=target/datdump/
    TARGET_FILE=${TARGET_FILE_PATH}localData.json.gz

    echo $FILE_NAME
    echo $TARGET_FILE

    aws s3 sync $BUCKET $TARGET_FILE_PATH --exclude "*" --include "*$FILE_NAME*"

    cp target/datdump/$FILE_NAME $TARGET_FILE

psありがとう@DavidMurray

これが新しくアップロードされたファイルである場合は、Lambdaを使用して新しいS3オブジェクトでコードを実行できます。

本当に最新のものを取得する必要がある場合は、最初に日付を使用してファイルに名前を付け、名前で並べ替えて、最初のオブジェクトを取得できます。