S3fsのパフォーマンス向上または代替？

EC2サーバーでs3fsを使用しようとしていますが、非常に遅いです。過去5時間かけて、100MBの小さなファイルをアップロードしました。

パフォーマンスを向上させるために何かできることはありますか、それともS3fsに関連するものですか？そうでない場合、私が使用できる代替手段は何ですか？

S3FSは、大量の小さいファイルには最適な選択ではない場合があります。S3FSのオーバーヘッドもかなり高いです。S3Curlのようなものを使用することをお勧めします

並列転送を実行することもできます。EBS /ローカルストレージのように高速になることはありません。

「マウント可能な」ストレージとして使用する必要がある場合、私が知っているS3FSの唯一の代替手段はS3Backerまたはs3qlです。

私はs3fsと比較してriofsをベンチマークしました。私のテストケースは、見つかった各.pngでpngquantを実行する比較的単純なbashスクリプトでした。約70の画像を含むテストバケットで、約20の場所でpng（多くのサブディレクトリに分散し、処理が遅くなる可能性があります）結果は次のとおりです。

s3fs：3m54
riofs：15.9s

したがって、このテストケースのriofsは約15倍高速です！セットアップも非常に簡単でしたが、ドキュメントはやや簡潔です。

スクリプトがまだ15.9秒かかるという事実に関しては、あまり効率的ではなく、実際にpngでpngquantを実行することは、CPUを集中的に使用するプロセスです。

ミックスにriofsを追加するだけです。現時点ではベンチマークを確認できませんでしたが、誰でもできる問題/リクエストがあります。

https://github.com/kahing/goofysの v0.0.1をリリースしました。これは、s3fsのパフォーマンスの問題が原因の1つです。ファイル作成のスピードアップは3〜6倍で、最初のバイトまでの時間は58倍です。フィードバックを歓迎します！

[1]を使用しましたが、とても良いです。それはたくさんのコマンドで、awsとs3へのアクセスをずっと簡単にします。

1. http://timkay.com/aws/

私はs3fsとriofsを比較しましたが、パフォーマンスが著しく向上したため、ほとんど切り替えました。問題は、riofsがまだv4シグネチャに更新されていないことです。これは、フランクフルトまたは中国のs3バケットでは機能しないことを意味します。所有者によると、アップデートが進行中です。フランクフルトや中国を使用しない場合は、riofsがより優れた選択肢です。

これはちょっと古いですが、誰がここに来るのを助けるかもしれません。

私はaws cliを使用していますが、その動作は非常に良好です（3 Mb / s）

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/