AWS S3 CLIを使用してファイルをBASHのstdoutにダンプする方法は？

（lsコマンドで指定された）S3のパスを取得し、すべてのファイルオブジェクトの内容をにダンプするbashスクリプトを開始していますstdout。基本的にはcat /path/to/files/*、S3を除いて複製したいと思いs3cat '/bucket/path/to/files/*'ます。オプションを見る最初の傾向は、cpコマンドを一時ファイルに使用し、次にそれを使用するcatことです。

誰かがこれまたは同様のことを試しましたか、それとも私が見つけていないコマンドがすでにありますか？

すべてのファイルオブジェクトの内容をstdoutにダンプします。

コマンドの-宛先を渡すと、これを実現できますaws s3 cp。たとえば、 $ aws s3 cp s3://mybucket/stream.txt -。

あなたがやろうとしていることはこのようなものですか？::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

「-」へのコピーをサポートしないバージョンのAWS CLIを使用している場合は、/ dev / stdoutを使用することもできます。

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

--quiet次のような要約行が出力に追加されないようにフラグを設定することもできます。

ダウンロード：s3：//mybucket/stream.txtから../../dev/stdout

s3streamcatを使用してみてください。bzip、gzip、xz形式もサポートしています。

でインストール

sudo pip install s3streamcat

使用法：

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

ああ！

https://pypi.python.org/pypi/s3cat/1.0.8

長さの要件を満たすために、さらに多くの文字を書いています。

BASHを使用してこれを実現する場合は、AWSコマンドラインインターフェイス（CLI）などの外部アプリを呼び出す必要があります。同等のCATがないため、ファイルをローカルにコピーしてからCATする必要があります。

または、AWS SDKを直接呼び出すアプリを使用/作成することもできます。これは、Python、PHP、Javaなどの言語で利用できます。SDKを使用することで、ファイルの内容をメモリ内で取得し、stdoutに送信できます。