S3互換オブジェクトストレージシステム[終了]

ほぼ100％Amazon S3 RESTful API互換のオブジェクトストレージシステムに出会った人はいますか？

私が望んでいるのは、適切な認証で、Amazon S3スタイルのRESTful APIを格納（PUT）、取得（GET）、統計（HEAD）および削除（DELETE）する任意の（好ましくはPOSIX）ファイルシステムの上にあるレイヤーです。

商用プロジェクト/アイデアも歓迎します。

注意：

私はこれまでユーカリと積雲を試しました。ユーカリは盲目的に自身をS3互換と呼んでいるようです。応答XMLドキュメントはまったく互換性がなく、XMLドキュメントがまったくない特定の場所ではパッチが適用されます。Cumulusは、応答ドキュメントをまったく同じように保つことができましたが、データの整合性を忘れていたようです。

後者について説明します。EucalyptusとCumulusは、Amazon S3が提供する整合性検証をサポートしていません。S3でできることは、PUT要求とともにBase64（MD5（FILE））を提供できることです。PUT要求は、S3が成功して応答する前に検証されます。EucalyptusとCumulusはこれをサポートしていません。Eucalyptusを使用すると、少なくともS3互換の動作ではなく、応答ドキュメントで指定されたMD5をチェックすることでこれを回避できます。Cumulusでは、何も応答しないため（S3など）、これは不可能です。HEADリクエストでETagを提供しないことにより、Cumulusによってさらに悪化します。

SwiftはOpenStackのオブジェクトストレージエンジンであり、2011年2月のBexarリリース時点で、実験的なS3互換ミドルウェアを主張しています。OpenStackが大きな注目を集めているため（たとえば、Canonicalはこの10月にEucalyptusにUbuntuを移行しています）、一見の価値があります。

結局、私はユーカリセイウチと前進しなければなりませんでした。最終的には、いくつかの根本的な問題を発見しましたが、すべて回避策がありました。

貴重なご意見をありがとうございました！

[免責事項：私はScalityで働いています]

Amazonは、AWS製品に対して非常に積極的であり、APIの追加や変更/改善を頻繁に行っています。そのため、ほぼ100％互換性のある製品を見つけるのは困難です（特に市販製品では、おそらくOSS製品は変更に対してより反応しやすいでしょう）。多くのオブジェクト/クラウドストレージベンダーは、しばらくの間独自のプロトコルをいじくり回していました（Atmos、DDN、OpenStackの迅速化さえ）。彼らは、ほとんどすべてが独自のプロトコルがS3のように広く使用されるという考えを放棄しました。それらはすべて（ほぼ？）現在または今後数か月でS3互換インターフェイスを発表しています。結局のところ、業界の事実上の標準であり、標準化された性質と、非営利の非ベンダー組織であるSNIAから来たという事実だけで、残っている唯一の競争相手はCDMIかもしれません。しかし、それは

S3互換のインターフェースに関する限り、あなたが言及したMezeo（EucalyptusとCumulus）、OpenStack（まだ出ていませんが）のようないくつかのオプションがあります。Scalityもその1つです。

ScalityのS3実装（RS2-RESTストレージサービスと呼ばれる）は、リクエスト/応答がS3から得られるものと一致するという点で、S3に非常に近いものです。S3のインフラストラクチャに関連付けられている機能の一部は、明らかな理由により存在しません（たとえば、地域の選択）。ただし、必要なコマンドは次のとおりです。オブジェクトのGET / PUT / DELETE、バケットの作成と一覧表示。S3と同じように反応します。

2つ目の問題に答えるために、Scalityの製品であるRINGは、RINGに格納されているすべてのオブジェクトのチェックサムを作成し、バックグラウンドの整合性チェックを行うことで、参照しているデータ整合性の問題を解決するソフトウェアオブジェクトストレージプラットフォームであることを付け加えます。オブジェクトの保存は基本的にトランザクションクエリであり、オブジェクトが「保存に成功した」と主張されると、永続的な整合性チェック（読み取りごとなど）が行われます。

詳細は説明しません。当社のウェブサイトにアクセスして、ストレージ管理者が一般的なデータ管理の悪夢からどのように軽減するかを理解し、データが利用可能であることを夜に眠らせてください。常に。:)

Best、Marc Villemade @mastachand

NewdreamのCephには、Ceph Filesystem自体と同じオブジェクトストレージシステムを使用するS3互換fastcgiゲートウェイがあります。（http://ceph.newdream.net/wiki/RADOS_Gateway）まだ生産準備ができていませんが、定期的に更新しています。

私が使用したs3ライブラリと互換性のあるS3ではなく、クラウドファイルストレージサービス（独自のバージョンのswiftを使用）のrackspace独自のJavaクライアントとは互換性がありませんが、Openstackのオブジェクトストアはテストでより信頼性が高いことがわかりました。s3とSwiftの両方のサポートがあるjcloudsプロジェクトは私にとってはうまくいきましたが。

Cloud Foundry vBlobもご覧ください：https : //github.com/cloudfoundry/vblob

これは、VMが「見る」ことができるファイルシステム上にS3プロトコルのかなりの部分を実装するnode.jsアプリ（CF統合用のRubyラッパーを使用）です。

s3ql（GNU GPL v3）とs3backer（GNU GPL v2）の両方があなたが探していることをします。

古い/質問に答え、しかしhttps://github.com/basho/riak_csはただでオープンソース化されたhttps://github.com/basho/riak_cs：「RiakにCSがRiakにの上に構築されたオブジェクト・ストレージ・システムであることが容易になります。 Riakに大きなオブジェクトを格納し、S3互換のインターフェイスを提供します。また、ユーザーアカウント、認証、アクセス制御メカニズム、アカウントごとの使用レポートなどのマルチテナンシー機能も提供します。

上記の多くのオプションがまだあるので、OpenStack Swift、OpenSource Object Storageをチェックし、S3互換APIもサポートする必要があります。Rackspace、Hpcloud Korea Telecomなどのオブジェクトストレージソリューションとして使用されます。

ドキュメントhttp://docs.openstack.org/developer/swift/associated_projects.html Swift3 https://github.com/fujita/swift3 OpenStack Swift用のSwift3ミドルウェア。AmazonS3 API経由でOpenStack swiftにアクセスできます。

それが役に立てば幸い。

[免責事項：私はCloudianで働いています]

Cloudian HyperStoreオブジェクトストレージソフトウェアは、100％Amazon S3 APIと互換性があります。エラーコードまでのすべてのS3 APIとAmazon S3のすべての機能を実装します。

Cloudian HyperStoreは、マルチパートアップロード、オブジェクトバージョン管理、S3互換ACL、S3およびGlacierへの自動階層化、S3 Cross-Origin Resource Sharing（CORS）、S3エンコーディングタイプ、ロケーション制約などをサポートしています。

はい、Cloudianを使用すると、PUT要求とともにBase64（MD5（FILE））を提供できます。PUT要求は、成功して応答する前に検証されます。

詳細については、このブログ投稿http://www.cloudian.com/blog/?p=64およびCloudian Webサイトhttp://www.cloudian.com/products/cloudian-hyperstore.phpを確認してください。

s3fsをチェックアウトしましたか？必要なMD5チェックを備えていません（http://code.google.com/p/s3fs/issues/detail?id=37&q=md5）が、これを実装するのはそれほど難しくないと思います。注目すべきは、それが最終的に一貫しているということです。