Amazon s3バケットを使用したジオサーバー


12

仮想インスタンスでGeoserverを実行しているApacheがあり、GeoserverデータディレクトリがAmazon S3バケットを指すことができるかどうか疑問に思っています。これは可能ですか?これはパフォーマンスにどのように影響しますか?

S3がGeoserverのデータディレクトリのセットアップとして適切でない場合、Geoserverデータディレクトリに大量のデータを追加するための提案はありますか?データディレクトリは、最大で数百GB、場合によってはそれ以上に達する可能性があります。大きなハードドライブを備えたサーバーを入手するだけですか、Amazon S3バケットのようなよりスケーラブルなソリューションに接続する必要がありますか?


データは何ですか?画像だと思いますが、タイルを張りましたか?おそらくラスター勝利のためのデータベース:-)
BradHards

1
データがラスターであり、インタラクティブなWMS S3で読み取られて処理される場合、処理が非常に遅くなる可能性があります。過去の経験からのヒントは、glusterfs + EBSをご覧ください。
-simogeo

1
私は、水平方向に弾性的にスケーラブルなGeoServerのフリートの共有データバケットとしてS3を使用することに興味があります。現在、S3Fuseを使用してファイルシステムをマウントすることを検討しています。この分野で他の成功/失敗を聞くのは素晴らしいことです。
8ビットジャンキー

このテーマでの経験はありますか?
geogeek

回答:


10

「s3fsを使用して」S3バケットを「直接」指すことは、「おそらく」悪い考えです。例:https : //stackoverflow.com/questions/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBSは、ほぼ確実に、GeoServerがアクセスするためのデータを保存する適切な場所です。

EBS規格では、100 GBは非常に管理しやすくなっています。(最大ボリュームサイズは16テラバイトです!)

元のデータをS3に保存し、必要に応じてインスタンスに複製し、AWS CLIツールを使用して、1つのコマンドでS3フォルダーのコンテンツをローカルインスタンスに同期することをお勧めします。http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html)。S3は間違いなく冗長ですが、柔軟性と利便性が追加されることがわかりました。

補足:大容量のマルチコアインスタンスを使用する予定があり、データボリュームが予期せず増加する可能性がなく、インスタンスを自動構築できる場合は、実際にインスタンスストレージの使用を検討できます(「一時ストレージ」 )S3では元のデータが安全であるため、EBS料金を節約でき、場合によってはインスタンスストレージがEBSよりもわずかに高速になる可能性があります。


1
これは包括的な答えです。無限は、ここで少し情報を持っている:boundlessgeo.com/2013/04/...
アレックス・リース

pyQGISからAWSコマンドを起動するには何を使用しますか?Processing.call?boto3は実行されていないようです。python2でOsgeoシェルで実行されますが、3ではありません...-
Leo

0

これは可能ですか: Geotiff CommunityモジュールのGeoserver s3- https: //docs.geoserver.org/latest/en/user/community/s3-geotiff/indexを使用して、GeoTIFF形式に適したデータに対してこれを容易に実現できます。 .html

これはパフォーマンスにどのように影響しますか? これに答えるのは難しいですが、私は、わずかな価格でEBS / EFSストレージとほぼ同等のパフォーマンスを見つけました。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.