タグ付けされた質問 「amazon-s3」

これは、Amazonのクラウドストレージサービスに関する質問です。

27
Amazon S3バケットのサイズを取得するにはどうすればよいですか？
Amazon S3バケットのサイズ（バイト単位、アイテム数）をグラフ化し、データを取得する効率的な方法を探しています。 s3cmdツールは使用してファイルの合計サイズを取得する方法を提供しs3cmd du s3://bucket_name、私はそれがすべてのファイルに関するデータを取得し、独自の合計を計算のように見えるので、拡張する能力心配です。AmazonはGBか月でユーザーに課金するため、この値を直接公開しないのは奇妙に思えます。 がAmazonのREST APIは、バケット内の項目数を返し、s3cmdそれを公開していないようです。できましたがs3cmd ls -r s3://bucket_name | wc -l、それはハックのようです。 Ruby AWS :: S3ライブラリは有望に見えましたが、合計バケットサイズではなく、バケットアイテムの数のみを提供します。 このデータを取得する方法を提供する他のコマンドラインツールまたはライブラリ（Perl、PHP、Python、またはRubyを好む）を知っている人はいますか？
5
S3を使用したAmazon Cloudfront。アクセスが拒否されました
Cloudfrontを介してS3バケットを配布しようとしていますが、何らかの理由で唯一の応答は次のようなAccessDenied XMLドキュメントです。 <Error> <Code>AccessDenied</Code> <Message>Access Denied</Message> <RequestId>89F25EB47DDA64D5</RequestId> <HostId>Z2xAduhEswbdBqTB/cgCggm/jVG24dPZjy1GScs9ak0w95rF4I0SnDnJrUKHHQC</HostId> </Error> 使用している設定は次のとおりです。 そして、これがバケットのポリシーです { "Version": "2008-10-17", "Id": "PolicyForCloudFrontPrivateContent", "Statement": [ { "Sid": "1", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::cloudfront:user/CloudFront Origin Access Identity *********" }, "Action": "s3:GetObject", "Resource": "arn:aws:s3:::x***-logos/*" } ] }
8
aws cliを使用してAmazon S3からダウンロードするときにアクセスが拒否される原因は何ですか？
私はここで何が欠けているのかを理解しようとして、AWSで実際に動き回っています。IAMユーザーがS3バケットからファイルをダウンロードできるようにしたい-ファイルを完全に公開するだけでなく-アクセスが拒否されています。誰もがオフになっているものを見つけることができれば、私は興奮します。 これまでにやったこと： my-userという名前のユーザーを作成しました（例のため） ユーザーのアクセスキーを生成し、EC2インスタンスの〜/ .awsに配置します 私のユーザーにアクセスを許可したいバケットポリシーを作成しました コマンドを実行しました aws s3 cp --profile my-user s3://my-bucket/thing.zip . バケットポリシー： { "Id": "Policy1384791162970", "Statement": [ { "Sid": "Stmt1384791151633", "Action": [ "s3:GetObject" ], "Effect": "Allow", "Resource": "arn:aws:s3:::my-bucket/*", "Principal": { "AWS": "arn:aws:iam::111122223333:user/my-user" } } ] } その結果A client error (AccessDenied) occurred: Access Denied、同じコマンドとデフォルト（ルートアカウント？）アクセスキーを使用してダウンロードできます。 ユーザーポリシーも追加してみました。なぜそれが必要になるのかはわかりませんが、痛くないと思ったので、これをユーザーに添付しました。 { "Statement": [ …
2
AWSがパブリックS3バケットに対して推奨するのはなぜですか？
「S3バケットへのパブリックアクセスを一切許可しないことを強くお勧めします。」 Webサイトのホストに使用する1つのバケットに対して、非常にきめ細かいパブリックポリシー（s3：GetObject）を設定しました。Route53は、この目的でバケットのエイリアスを明示的にサポートしています。この警告は単に冗長ですか、それとも何か間違っていますか？
6
ソースバケットをバージョニングせずにAWS S3バケットをバックアップする方法[終了]
Amazon S3バケットの誤った削除から回復する方法はありますか？ バケットに重要な情報があります。バケット自体の偶発的または悪意のある削除のリスクを軽減する必要があります。 バケット全体をローカルで同期できることは知っていますが、バケットサイズが100GBの場合、これはあまり実用的ではありません。 バックアップ戦略に関するアイデアはありますか？
43 backup  amazon-s3 
7
S3を効率的に使用してファイルを増分バックアップするにはどうすればよいですか？
rsyncが高レベルでどのように機能するかは理解していますが、2つの側面があります。S3には、話すデーモンはありません—ありますが、基本的にはHTTPです。 いくつかのアプローチがあるようです。 s3rsync（ただし、これはrsyncをs3に固定するだけです）。簡単です。私は何かサードパーティに依存したいのか定かではありません。s3がrsyncをサポートすることを望みます。 ボルトオンなしでs3をサポートすると主張する重複のようなrsync「クローン」もあります。しかし、どのようにこれを行うことができますか？インデックスファイルをローカルに保持していますか？それがどれほど効率的かはわかりません。 s3は安価で信頼性が高いため、明らかにs3を使用したいのですが、画像の巨大なディレクトリをバックアップするなど、rsyncがツールとして使用できるものがあります。 ここでのオプションは何ですか？rsync + s3rsync + s3の代わりに重複+ s3を使用すると何が失われますか？
7
Amazon S3でRSYNCを使用する[終了]
Amazon S3を使用して〜100 GBサーバーイメージ（Acronisバックアップツールで作成）をバックアップすることに興味があります 明らかに、このS3への毎晩のアップロードは、帯域幅とコストの点で高価です。S3でrsyncを使用することを検討しており、s3rsyncに遭遇しました。 これや他のユーティリティを使用した経験がある人はいないだろうか？
39 rsync  amazon-s3 
7
ディレクトリ構造をそのままAWS S3バケットにコピーする
AWS S3 CLIを使用して、完全なディレクトリ構造をS3バケットにコピーしたい。 これまでのところ、私が試したすべてがファイルをバケットにコピーしますが、ディレクトリ構造は崩れています。（言い換えると、各ファイルはバケットのルートディレクトリにコピーされます） 私が使用するコマンドは次のとおりです。 aws s3 cp --recursive ./logdata/ s3://bucketname/ また、ソース指定（つまり、引数からのコピー）の末尾のスラッシュを省いてみました。また、ワイルドカードを使用してすべてのファイルを指定しました...私が試みるそれぞれは、単にログファイルをバケットのルートディレクトリにコピーします。
2
1 GB未満しか使用しない場合、AWS S3は4 TBのストレージに課金します
私は大きなS3の請求書を理解するのに苦労しており、AWSの毎月のサポートで30ドルを落とす前にここで尋ねると思った。 基本的に、異なる暗号通貨交換へのAPIを作成し、応答をインスタンスHDに保存するAmazon EC2インスタンスがあります。呼び出しは約5分ごとに行われ、応答オブジェクトは約100 kbで、Rスクリプトによって読み取られ、約8分ごとにCSVファイルに追加されます。そのCSVファイルは、約15分ごとにAmazon S3バケットに同期されます。 CSVファイルは通常、15分ごとに約15の暗号通貨に対して10 MB程度です。したがって、Amazon S3バケットを見ると、最大で0.5 GBのスペースが使用されている可能性があります。 ただし、「TimedStorage-ByteHours」は約4 TBで読み取ります！ Amazon Simple Storage Service TimedStorage-ByteHrs $ 89.55 GBあたり0.000ドル-月額グローバル無料利用枠5 GB未満のストレージ-月額0.00ドル GBあたり0.023ドル-ストレージ使用量の最初の50 TB /月3,893.399 GB-Mo $ 89.55 何か案は？
3
CloudFormationで既存のリソースを再利用するにはどうすればよいですか？
CloudFormationテンプレートにリソースとしてS3バケットがあります。にDeletionPolicy設定しRetainます。これは期待どおりに機能します。スタックを削除すると、実際にバケットが保持されます。ただし、スタックを再度作成しようとすると、同じバケットを再度作成しようとすると作成が失敗し、既に存在するというエラーメッセージが表示されます。 既に存在するリソースを再作成しないようにするために、CloudFormationテンプレートに何を追加する必要がありますか？ テンプレートの関連するフラグメントは次のとおりです。 "Resources": { "SomeS3Bucket" : { "Type" : "AWS::S3::Bucket", "DeletionPolicy" : "Retain", "Properties": { "BucketName": "SomeS3Bucket" } }
2
Chrome S3 Cloudfront：最初のXHRリクエストに「Access-Control-Allow-Origin」ヘッダーがありません
jQueryを使用してS3からCloudFront CDNを介していくつかのSVGファイルをロードするWebページ（https://smartystreets.com/contact）があります。 Chromeでは、コンソールだけでなくシークレットウィンドウも開きます。次に、ページをロードします。ページがロードされると、通常、コンソールに次のような6〜8個のメッセージが表示されます。 XMLHttpRequest cannot load https://d79i1fxsrar4t.cloudfront.net/assets/img/feature-icons/documentation.08e71af6.svg. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'https://smartystreets.com' is therefore not allowed access. ページの標準的な再読み込みを複数回行っても、同じエラーが引き続き発生します。そうすればCommand+Shift+R、ほとんどの、時にはすべての画像がXMLHttpRequestエラーなしでロードされます。 時々、画像が読み込まれた後でも更新され、1つ以上の画像が読み込まれず、XMLHttpRequestエラーが再び返されます。 S3とCloudfrontの設定を確認、変更、再確認しました。S3では、私のCORS設定は次のようになります。 <?xml version="1.0" encoding="UTF-8"?> <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedOrigin>http://*</AllowedOrigin> <AllowedOrigin>https://*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <MaxAgeSeconds>3000</MaxAgeSeconds> <AllowedHeader>Authorization</AllowedHeader> </CORSRule> </CORSConfiguration> （注：最初は<AllowedOrigin>*</AllowedOrigin>同じ問題しかありませんでした。） CloudFrontでは、ディストリビューションの動作はHTTPメソッドを許可するように設定されていますGET, HEAD, OPTIONS。キャッシュされたメソッドは同じです。Forward Headersは「Whitelist」に設定され、そのホワイトリストには「Access-Control-Request-Headers、Access-Control-Request-Method、Origin」が含まれます。 キャッシュレスブラウザーのリロード後に機能するという事実は、すべてがS3 / CloudFront側にあることを示しているようです。しかし、なぜ最初のページビューでコンテンツが配信されないのでしょうか？ macOS上のGoogle Chromeで作業しています。Firefoxは毎回ファイルを取得しても問題ありません。Operaはファイルを取得しません。Safariは、数回更新すると画像を取得します。 …
1
S3 Originを使用したAWS CloudFrontからのファイルのCache-Controlヘッダーなし
Amazon AWSに移行しました。現在、うまく機能しているEC2インスタンスがあります。Nginxをフロントで、Apacheをバックエンドで実行しています。それもうまくいっています。すべてのサイトが適切に起動され、EC2から提供されるファイルのCache-Controlヘッダーが含まれます。 問題は、CloudFront CDNを介してアクセスされるAmazon S3に配置したすべての静的ファイルにあります。ファイルには問題なくアクセスできます（CORSには問題ありません）が、どうやら CloudFrontはCache-Controlヘッダーを持つファイルを提供しないようです。ブラウザのキャッシングを活用したい。 静的ファイルはS3 + CloudFrontによって直接処理されるため、EC2インスタンスはここでは役割を果たしません。リクエストはEC2のWebサーバーに送信されません。 私は完全に失われました。 質問：1）この場合、Cache-Controlを設定するにはどうすればよいですか？2）Cache-Controlを設定することはできますか？S3またはCloudFrontからですか？ 注：個々のオブジェクトにS3でヘッダーを設定できるGoogleのいくつかのページにアクセスしました。私の場合はいくつかのオブジェクトについて話しているので、それは特別にそれを行うための生産的な方法ではありません。 ありがとう！
1
既存のS3バケットでCloudFormationを使用する
CloudFormationを使用して、既存のバケットのAWS :: S3 :: Bucketのいくつかのプロパティを設定します。つまり、バケットを作成するのではなく、設定の一部を強制するだけです。これが私のクラウド形成JSONの例です： "websitePreviewBucket": { "Type": "AWS::S3::Bucket", "Properties": { "AccessControl": "PublicRead", "VersioningConfiguration": { "Status": "Suspended" }, "BucketName": "preview.website.com", "WebsiteConfiguration": { "IndexDocument": "index.html", "ErrorDocument": "error.html" } } }, 当然のことながら、これはcloudformationコンソールで失敗します。 The following resource(s) failed to create: [websitePreviewBucket]. preview.website.com already exists バケットpreview.website.comを作成しました。つまり、このアカウントはそのバケットを「所有」しています。CloudFormation AccessControlを使用WebsiteConfigurationして既存のバケットなどに設定するにはどうすればよいですか？ 同じような質問をする別の質問を見ましたが、適切な答えがありません。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.