S3バケットに保存したオブジェクトの数を確認するにはどうすればよいですか？

私が何かを見逃していない限り、私が調べたどのAPIも、S3バケット/フォルダー（プレフィックス）にあるオブジェクトの数を教えてくれないようです。カウントを取得する方法はありますか？

あなたがいない限り、方法はありません

1. それらをすべて1000のバッチでリストする（これは低速で帯域幅を消費する可能性があります-アマゾンはXML応答を決して圧縮しないようです）、または

2. S3でアカウントにログインし、[アカウント]-[使用状況]に移動します。請求部門はあなたが保存したオブジェクトの数を正確に知っているようです！

5,000万個のオブジェクトが保存されている場合、すべてのオブジェクトのリストをダウンロードするだけでは実際に時間がかかり、コストがかかります。

使用量データにあるStorageObjectCountに関するこのスレッドも参照してください。

たとえ何時間も経っていたとしても、少なくとも基本を取得するS3 APIは素晴らしいでしょう。

AWS CLIの使用

aws s3 ls s3://mybucket/ --recursive | wc -l 

または

aws cloudwatch get-metric-statistics \
  --namespace AWS/S3 --metric-name NumberOfObjects \
  --dimensions Name=BucketName,Value=BUCKETNAME \
              Name=StorageType,Value=AllStorageTypes \
  --start-time 2016-11-05T00:00 --end-time 2016-11-05T00:10 \
  --period 60 --statistic Average

注：上記のcloudwatchコマンドは、一部では機能し、一部では機能しないようです。ここで議論： https //forums.aws.amazon.com/thread.jspa? =217050

AWS Webコンソールの使用

cloudwatchのメトリックセクションを見て、保存されているオブジェクトのおおよその数を取得できます。

約5000万の製品を使用しており、使用を数えるのに1時間以上かかりました aws s3 ls

ある--summarize含むスイッチバケット要約情報 （オブジェクトの数、すなわち、合計サイズ）。

AWS CLIを使用した正しい答えは次のとおりです。

aws s3 ls s3://bucketName/path/ --recursive --summarize | grep "Total Objects:"

Total Objects: 194273

ドキュメントを見る

これは古い質問であり、フィードバックは2015年に提供されましたが、S3 Webコンソールで「サイズを取得」オプションが有効になっているため、現時点でははるかに簡単です。

これは以下を提供します：

s3cmdコマンドラインツールを使用すると、特定のバケットの再帰的なリストを取得して、テキストファイルに出力できます。

s3cmd ls -r s3://logs.mybucket/subfolder/ > listing.txt

次に、Linuxでは、ファイルに対してwc -lを実行して、行をカウントできます（オブジェクトごとに1行）。

wc -l listing.txt

現在、S3 APIを使用した簡単なソリューションがあります（AWS CLIで利用可能）：

aws s3api list-objects --bucket BUCKETNAME --output json --query "[length(Contents[])]"

または特定のフォルダの場合：

aws s3api list-objects --bucket BUCKETNAME --prefix "folder/subfolder/" --output json --query "[length(Contents[])]"

s3のAWSクラウドウォッチメトリックスを使用して、各バケットの正確な数を確認できます。

AWS Billing、レポート、AWS Usageレポートの順に進みます。Amazon Simple Storage Serviceを選択してから、Operation StandardStorageを選択します。次に、各バケットのアイテム数をリストするStorageObjectCountのUsageTypeを含むCSVファイルをダウンロードできます。

s3コンソールの[管理]タブに移動して[メトリック]をクリックすると、合計数と履歴を簡単に取得できます... タブのスクリーンショット

APIは、リストを1000単位で返します。IsTruncatedプロパティをチェックして、まだあるかどうかを確認します。存在する場合は、別の呼び出しを行い、取得した最後のキーを次の呼び出しのMarkerプロパティとして渡す必要があります。その後、IsTruncatedがfalseになるまで、このようにループを続けます。

詳細については、このAmazonドキュメントを参照してください：複数ページの結果の反復

古いスレッドですが、私がこれを理解するまで答えを探していたので、まだ関連性があります。GUIベースのツール（つまり、コードなし）を使用してファイル数を求めていました。私はS3との間のドラッグアンドドロップ転送に3Hubと呼ばれるツールをすでに使用しています。持っているファイルの数を知りたい特定のバケット内にあるました（請求によってバケットごとに分割されるとは思わない）。

So, using 3Hub, 
- list the contents of the bucket (looks basically like a finder or explorer window)
- go to the bottom of the list, click 'show all'
- select all (ctrl+a)
- choose copy URLs from right-click menu
- paste the list into a text file (I use TextWrangler for Mac) 
- look at the line count  

バケットに20521個のファイルがあり、ファイルの数を1分未満で計算しました。

scalablelogic.comのpythonスクリプトを使用しました（カウントログに追加）。よく働きました。

#!/usr/local/bin/python

import sys

from boto.s3.connection import S3Connection

s3bucket = S3Connection().get_bucket(sys.argv[1])
size = 0
totalCount = 0

for key in s3bucket.list():
    totalCount += 1
    size += key.size

print 'total size:'
print "%.3f GB" % (size*1.0/1024/1024/1024)
print 'total count:'
print totalCount

s3cmdで、次のコマンドを実行します（Ubuntuシステム上）。

s3cmd ls -r s3://mybucket | wc -l

WindowsでAWS CLIを使用しているMeasure-Object場合、wc -l* nixと同様に、PowerShellを使用してファイルの総数を取得できます。

PS C:\> aws s3 ls s3://mybucket/ --recursive | Measure-Object

Count    : 25
Average  :
Sum      :
Maximum  :
Minimum  :
Property :

それが役に立てば幸い。

s3のオブジェクト数をカウントする最も簡単な方法の1つは、次のとおりです。

手順1：ルートフォルダーを選択します。手順2：[アクション]-> [削除]をクリックします（明らかに、削除しないように注意してください）。

あなたが解決策を見つけたらUpVote。

それを行うためのAmazon固有のAPIは実際にはないので、どのAPIもあなたに数を与えません。list-contentsを実行して、返される結果の数を数える必要があります。

AWS CLIのコマンドラインから、を使用しますls plus --summarize。すべてのアイテムのリストと特定のバケット内のドキュメントの総数が表示されます。私はサブバケットを含むバケットでこれを試していません：

aws s3 ls "s3://MyBucket" --summarize

少し時間がかかりますが（16 + Kのドキュメントをリストするのに約4分かかりました）、一度に1Kを数えるよりも高速です。

S3ストレージクラス分析はどうですか-APIとコンソールを利用できます-https://docs.aws.amazon.com/AmazonS3/latest/dev/analytics-storage-class.html

3Hubは廃止されました。より良い解決策があります。Transmit（Macのみ）を使用し、バケットに接続してメニューShow Item Countから選択するだけViewです。

s3ブラウザはhttp://s3browser.com/からダウンロードしてインストールできます。中央右隅にあるバケットを選択すると、バケット内のファイル数が表示されます。ただし、表示されるサイズは現在のバージョンでは正しくありません。

ガブ

最も簡単な方法は、開発者コンソールを使用することです。たとえば、Chromeを使用している場合は、[開発者ツール]を選択すると、次のように表示され、280-279 + 1 = 2のように、一致を見つけて数えるか、実行できます。

...

csvファイル内のオブジェクトのリストを提供するAmazon S3インベントリを潜在的に使用できます

私はS3ブラウザーツールが非常にユーザーであることを発見しました。ファイルとフォルダー、およびフォルダーの合計数とサイズを再帰的に提供します

ダウンロードリンク：https : //s3browser.com/download.aspx

gsutil du（はい、Google Cloudツール）でも実行できます

gsutil du s3://mybucket/ | wc -l

このcliコマンドを実行するだけで、バケットまたは特定のフォルダー内の合計ファイル数を取得できます

バケット全体をスキャン

aws s3api list-objects-v2 --bucket testbucket | grep "Key" | wc -l
aws s3api list-objects-v2 --bucket BUCKET_NAME | grep "Key" | wc -l

このコマンドを使用して詳細を取得できます

aws s3api list-objects-v2 --bucket BUCKET_NAME

特定のフォルダをスキャンする

aws s3api list-objects-v2 --bucket testbucket --prefix testfolder --start-after testfolder/ | grep "Key" | wc -l

aws s3api list-objects-v2 --bucket BUCKET_NAME --prefix FOLDER_NAME --start-after FOLDER_NAME/ | grep "Key" | wc -l

特定のファイル（.jpg画像など）を探している場合は、次のことができます。

aws s3 ls s3://your_bucket | grep jpg | wc -l

以下は、Javaクライアントを使用してそれを行う方法です。

<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-s3</artifactId>
    <version>1.11.519</version>
</dependency>

import com.amazonaws.ClientConfiguration;
import com.amazonaws.Protocol;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.services.s3.model.ObjectListing;

public class AmazonS3Service {

    private static final String S3_ACCESS_KEY_ID = "ACCESS_KEY";
    private static final String S3_SECRET_KEY = "SECRET_KEY";
    private static final String S3_ENDPOINT = "S3_URL";

    private AmazonS3 amazonS3;

    public AmazonS3Service() {
        ClientConfiguration clientConfiguration = new ClientConfiguration();
        clientConfiguration.setProtocol(Protocol.HTTPS);
        clientConfiguration.setSignerOverride("S3SignerType");
        BasicAWSCredentials credentials = new BasicAWSCredentials(S3_ACCESS_KEY_ID, S3_SECRET_KEY);
        AWSStaticCredentialsProvider credentialsProvider = new AWSStaticCredentialsProvider(credentials);
        AmazonS3ClientBuilder.EndpointConfiguration endpointConfiguration = new AmazonS3ClientBuilder.EndpointConfiguration(S3_ENDPOINT, null);
        amazonS3 = AmazonS3ClientBuilder.standard().withCredentials(credentialsProvider).withClientConfiguration(clientConfiguration)
                .withPathStyleAccessEnabled(true).withEndpointConfiguration(endpointConfiguration).build();
    }

    public int countObjects(String bucketName) {
        int count = 0;
        ObjectListing objectListing = amazonS3.listObjects(bucketName);
        int currentBatchCount = objectListing.getObjectSummaries().size();
        while (currentBatchCount != 0) {
            count += currentBatchCount;
            objectListing = amazonS3.listNextBatchOfObjects(objectListing);
            currentBatchCount = objectListing.getObjectSummaries().size();
        }
        return count;
    }
}

上に埋め込まれたPythonスクリプトのboto3バージョンは次のとおりです。

import sys
import boto3

s3 = boto3.resource('s3')
s3bucket = s3.Bucket(sys.argv[1])
size = 0
totalCount = 0

for key in s3bucket.objects.all():
    totalCount += 1
    size += key.size

print('total size:')
print("%.3f GB" % (size*1.0/1024/1024/1024))
print('total count:')
print(totalCount)`

aws s3 ls s3：// bucket-name / folder-prefix-if-any --recursive | wc -l