バケット内のオブジェクトに対するS3の制限


85

S3バケットに入れることができるオブジェクトの数に制限があるかどうか誰かが知っていますか?100万、1000万などをすべて1つのバケツに入れることはできますか?


1
百万、または千万を落とし、調べてみませんか?
PurplePilot 2010

27
$ .01の10,000リクエストは、上限を見つけるのに費用がかかる可能性があります。以下の見積もりをありがとう

1
今$ 0.01〜のためにその2万
Petah

回答:


91

アマゾンによると:

それぞれ0バイトから5テラバイトのデータを含むオブジェクトの書き込み、読み取り、および削除。保存できるオブジェクトの数は無制限です。

出典:2015年9月3日現在のhttp://aws.amazon.com/s3/details/


3
注:各PUTで最大5GBです。5TBのオブジェクトをアップロードする場合は、マルチパートアップロードをオンにする必要があります。
whiteshooz 2018

最大ファイルサイズは5TBですが、サイズが0バイトのオブジェクトを保存することもできます。出典:Q:Amazon S3にはどのくらいのデータを保存できますか?
Norbert

17

制限が変更されたようです。1つのオブジェクトに5TBを保存できます。

データの総量と保存できるオブジェクトの数は無制限です。個々のAmazonS3オブジェクトのサイズは、最小0バイトから最大5テラバイトの範囲です。1つのPUTにアップロードできる最大のオブジェクトは5ギガバイトです。100メガバイトを超えるオブジェクトの場合、お客様はマルチパートアップロード機能の使用を検討する必要があります。

http://aws.amazon.com/s3/faqs/#How_much_data_can_I_store


11
  • バケットあたりのオブジェクトに制限はありません。
  • アカウントごとに100バケットの制限があります(さらに必要な場合は、amazonをリクエストする必要があります)。
  • 1つのバケットに数百万のオブジェクトを格納しても、パフォーマンスが低下することはありません。

ドキュメントから、

バケットに格納できるオブジェクトの数に制限はなく、多くのバケットを使用する場合でも、少数のバケットを使用する場合でも、パフォーマンスに違いはありません。すべてのオブジェクトを1つのバケットに保存することも、複数のバケットにまたがって整理することもできます。

2016年8月現在


3
バケット内のオブジェクトの編成/キープレフィックスは、何百万ものオブジェクトを操作しているときに違いを生む可能性があります。aws.amazon.com/blogs/aws/…を
トレントン

docs.aws.amazon.com/AmazonS3/latest/dev/… は「パフォーマンスのためにプレフィックスの名前をランダム化する必要がなくなった」と述べています。ただし、ドキュメントからは、S3がインデックス作成(ハッシュ?bツリー?)をどのように行うか、およびプレフィックスに一致するオブジェクトを効率的に一覧表示できるかどうかは不明です。以下の時代遅れのドキュメントの提供、いくつかのヒント:aws.amazon.com/blogs/aws/...
ドン・スミス

7

1つのバケットに無制限の数のファイル/オブジェクトを保存できますが、バケットに「ディレクトリ」をリストすると、デフォルトでは、そのバケットの最初の1000個のファイル/オブジェクトしか表示されません。このような大きな「ディレクトリ」内のすべてのファイルにアクセスするには、APIを複数回呼び出す必要があります。


2

S3バケットに保存できるオブジェクトの数に制限はありません。AWSは、無制限のストレージがあると主張しています。ただし、いくつかの制限があります-

  1. デフォルトでは、お客様はAWSアカウントごとに最大100個のバケットをプロビジョニングできます。ただし、AWS Service Limitsにアクセスすると、AmazonS3バケットの制限を増やすことができます。
  2. オブジェクトは0バイトから5TBにすることができます。
  3. 1つのPUTにアップロードできる最大のオブジェクトは5ギガバイトです
  4. 100メガバイトを超えるオブジェクトの場合、お客様はマルチパートアップロード機能の使用を検討する必要があります。

そうは言っても、S3バケットに保存するオブジェクトが本当にたくさんある場合は、パフォーマンスを向上させるためにオブジェクト名のプレフィックスをランダム化することを検討してください。

ワークロードがリクエストタイプの混合である場合、キー名のプレフィックスとしてハッシュ文字列を追加することにより、キー名にランダム性を導入します。キー名にランダム性を導入することにより、I / O負荷が複数のインデックスパーティションに分散されます。たとえば、キーとして割り当てる予定の文字シーケンスのMD5ハッシュを計算し、ハッシュから3文字または4文字をプレフィックスとしてキー名に追加できます。

詳細-https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

-2018年6月現在


0

「バケット内に必要な数のオブジェクトを格納し、バケット内のオブジェクトの書き込み、読み取り、および削除を行うことができます。オブジェクトのサイズは最大5テラバイトです。」

http://aws.amazon.com/s3/details/から(2015年3月4日現在)


-1

@ Acyra-単一のバケットからのオブジェクト配信のパフォーマンスは、その中のオブジェクトの名前に大きく依存します。

ファイル名がランダムな文字で離れている場合、それらの物理的な場所はAWSハードウェア上でさらに広がりますが、すべてに「common-x.jpg」、「common-y.jpg」という名前を付けると、それらのオブジェクトは一緒に保存されます。

これにより、ファイルを同時にリクエストすると配信が遅くなる可能性がありますが、心配するほどではありません。これらのオブジェクトは一緒に保存されるため、失われるか、一緒に使用できなくなるため、データの損失や停止によるリスクが高くなります。


これについて何か参考資料はありますか、それとも知識に基づいた推測ですか?S3オブジェクトはファイル名によってシャーディング/ハッシュされているか、sha1 / md5などのよりランダムなものが使用されていると推測できます...しかし、ソース資料がないと実際にはわかりません。
ファジー2016
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.