S3オブジェクトにデータを追加する

Question 1

S3バケットに保存されている特定のログファイルに書き込めるようにしたいマシンがあるとしましょう。

したがって、マシンにはそのバケットへの書き込み機能が必要ですが、そのバケット内のファイル（書き込み先のファイルを含む）を上書きまたは削除する機能は必要ありません。

したがって、基本的には、マシンがデータをオーバーライドしたりダウンロードしたりせずに、そのログファイルにのみデータを追加できるようにしたいのです。

そのように動作するようにS3を設定する方法はありますか？たぶん、私が望むように機能するように添付できるIAMポリシーがいくつかありますか？

Question 2

残念ながら、できません。

S3には「追加」操作はありません。^*オブジェクトがアップロードされると、その場で変更する方法はありません。唯一のオプションは、新しいオブジェクトをアップロードして置き換えることですが、これは要件を満たしていません。

*：はい、この投稿は2、3年前のものです。しかし、それでも正確です。

Question 3

受け入れられた答えが述べているように、あなたはできません。私が知っている最善の解決策は、以下を使用することです。

AWS Kinesis Firehose

https://aws.amazon.com/kinesis/firehose/

彼らのコードサンプルは複雑に見えますが、あなたのコードサンプルは本当に単純なものになり得ます。アプリケーション内のKinesisFirehose配信ストリームに対してPUT（またはBATCH PUT）操作を実行し続け（AWS SDKを使用）、ストリーミングされたデータを選択したAWS S3バケットに送信するようにKinesisFirehose配信ストリームを設定します（ AWS Kinesis Firehoseコンソール）。

>>Linuxコマンドラインからの場合ほど便利ではありません。S3でファイルを作成したら、新しいファイルのダウンロード、追加、アップロードを再度行う必要がありますが、行のバッチごとに1回だけ実行する必要があるためです。データのすべての行よりも、追加操作の量のために莫大な料金を心配する必要はありません。たぶんそれはできますが、コンソールからそれを行う方法がわかりません。

Question 4

S3上のオブジェクトは追加できません。この場合、2つの解決策があります。

すべてのS3データを新しいオブジェクトにコピーし、新しいコンテンツを追加して、S3に書き戻します。

function writeToS3(input) {
    var content;
    var getParams = {
        Bucket: 'myBucket', 
        Key: "myKey"
    };

    s3.getObject(getParams, function(err, data) {
        if (err) console.log(err, err.stack);
        else {
            content = new Buffer(data.Body).toString("utf8");
            content = content + '\n' + new Date() + '\t' + input;
            var putParams = {
                Body: content,
                Bucket: 'myBucket', 
                Key: "myKey",
                ACL: "public-read"
             };

            s3.putObject(putParams, function(err, data) {
                if (err) console.log(err, err.stack); // an error occurred
                else     {
                    console.log(data);           // successful response
                }
             });
        }
    });  
}

2番目のオプションは、KinesisFirehoseを使用することです。これはかなり簡単です。ファイアホース配信ストリームを作成し、宛先をS3バケットにリンクする必要があります。それでおしまい！

function writeToS3(input) {
    var content = "\n" + new Date() + "\t" + input;
    var params = {
      DeliveryStreamName: 'myDeliveryStream', /* required */
      Record: { /* required */
        Data: new Buffer(content) || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
      }
    };

    firehose.putRecord(params, function(err, data) {
      if (err) console.log(err, err.stack); // an error occurred
      else     console.log(data);           // successful response
    }); 
}

Question 5

他の人が以前に述べたように、S3オブジェクトは追加できません。
ただし、別の解決策は、CloudWatchログに書き出してから、必要なログをS3にエクスポートすることです。これにより、LambdaはS3権限を必要としないため、サーバーにアクセスする攻撃者がS3バケットから削除するのを防ぐこともできます。

Question 6

S3のようなサービスであるAlibabaCloud OSS（オブジェクトストレージサービス）を使用してオブジェクトにデータを追加したい場合はこれをネイティブにサポートします。

OSSは、（AppendObject APIを介して）追加アップロードを提供します。これにより、オブジェクトの末尾にコンテンツを直接追加できます。このメソッドを使用してアップロードされたオブジェクトは追加可能なオブジェクトですが、他のメソッドを使用してアップロードされたオブジェクトは通常のオブジェクトです。追加されたデータはすぐに読み取ることができます。

Question 7

私は同様の問題を抱えていました、そしてこれは私が尋ねたものです

AWSLambdaを使用してファイルにデータを追加する方法

上記の問題を解決するために私が思いついたものは次のとおりです。

getObjectを使用して、既存のファイルから取得します

   s3.getObject(getParams, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else{
       console.log(data);           // successful response
       var s3Projects = JSON.parse(data.Body);
       console.log('s3 data==>', s3Projects);
       if(s3Projects.length > 0) {
           projects = s3Projects;
       }   
   }
   projects.push(event);
   writeToS3(); // Calling function to append the data
});

ファイルに追加する関数を書き込む

   function writeToS3() {
    var putParams = {
      Body: JSON.stringify(projects),
      Bucket: bucketPath, 
      Key: "projects.json",
      ACL: "public-read"
     };

    s3.putObject(putParams, function(err, data) {
       if (err) console.log(err, err.stack); // an error occurred
       else     console.log(data);           // successful response
        callback(null, 'Hello from Lambda');
     });
}

この助けを願っています！