VSIS3を使用してS3バケットからGDALのファイルに効率的にアクセスする方法は？

そのため、GDALは最近、S3バケットファイルのランダム読み取りを可能にする新しい機能を追加しました。ファイル全体をダウンロードせずに、画像の複数のタイルからGDAL画像をトリミングしようとしています。GDALを使用してS3バケットを設定およびアクセスする方法に関する非常にまばらなドキュメントしか見ていませんが、開始方法について少し混乱していますか？この目標を達成するために、GDALの仮想ファイルシステムをどのように設定するかについて、非常に短い例/チュートリアルを提供してくれる人がいますか？ソリューションでPythonを使用したスクリプト作成が許可されている場合、ボーナスポイント！

明確にするために、すでにPythonでそれを行っています。Pythonの問題は、画像全体をダウンロードして操作する必要があることです。GDALの最新バージョンでは、S3バケットのマウントがサポートされているため、画像のごく一部をトリミングする必要がある場合、その小さな部分を直接操作できます。残念ながら、この機能は1月に安定版ブランチでのみリリースされたため、ドキュメントは見つかりませんでした。そのため、ソリューションでは、GDALの最新リリースのVSI3システムを使用するか、システムをスマートに使用して、ユーザーがイメージ全体をEBSドライブにダウンロードして操作する必要がないようにします。

つまり、GDALの最新バージョンにあるVSI APIを使用する回答に対して賞金が授与されるため、ファイル全体をメモリまたはディスクに読み込む必要はありません。また、使用するバケットは常に公開されているわけではないため、投稿されるHTTPトリックの多くは、多くの状況で機能しません。

GDALで何かが特に適切に文書化されていない場合、テストを調べることが役立つことがあります。

/vsis3テストモジュールは、それが実際に読んチャンクのいずれかの例を持っていませんが、いくつかの簡単な例があります。

テストモジュールに基づいて以下のコードを作成しましたが、GDAL / vsis3に認証情報が必要であり、AWSアカウントがないため、テストできません。

"""This should read from the Sentinal-2 public dataset
   More info - http://sentinel-pds.s3-website.eu-central-1.amazonaws.com"""

from osgeo import gdal
import numpy as np

# These only need to be set if they're not already in the environment,
# ~/.aws/config, or you're running on an EC2 instance with an IAM role.
gdal.SetConfigOption('AWS_REGION', 'eu-central-1')
gdal.SetConfigOption('AWS_SECRET_ACCESS_KEY', 'MY_AWS_SECRET_ACCESS_KEY')
gdal.SetConfigOption('AWS_ACCESS_KEY_ID', 'MY_AWS_ACCESS_KEY_ID')
gdal.SetConfigOption('AWS_SESSION_TOKEN', 'MY_AWS_SESSION_TOKEN')

# 'sentinel-pds' is the S3 bucket name
path = '/vsis3/sentinel-pds/tiles/10/S/DG/2015/12/7/0/B01.jp2'
ds = gdal.Open(path)

band = ds.GetRasterBand(1)

xoff, yoff, xcount, ycount = (0, 0, 10, 10)
np_array = band.ReadAsArray(xoff, yoff, xcount, ycount)

以来/vsis3/、あなたも使用することができますGDALで実装されrasterioS3のデータセットのWindowsのを読み取ること。これには、boto用に資格情報を設定するか、rasterios AWSセッションハンドラーを使用する必要があります。

import rasterio

with rasterio.open('s3://landsat-pds/L8/139/045/LC81390452014295LGN00/LC81390452014295LGN00_B1.TIF') as ds:
    window = ds.read(window=((0, 100), (0, 100)))  # read a 100 by 100 window in the upper left corner.

rasterios windowed -rwおよびVSI docs も参照してください。

XMLファイルを使用してWMS情報を保存してみてください。詳細については、GDAL WMSドキュメントを参照してください。

MapzenのElevation APIからデータを取得するWMS XMLファイルの例を次に示します。

<GDAL_WMS>
  <Service name="TMS">
    <ServerUrl>https://s3.amazonaws.com/elevation-tiles-prod/geotiff/${z}/${x}/${y}.tif</ServerUrl>
  </Service>
  <DataWindow>
    <UpperLeftX>-20037508.34</UpperLeftX>
    <UpperLeftY>20037508.34</UpperLeftY>
    <LowerRightX>20037508.34</LowerRightX>
    <LowerRightY>-20037508.34</LowerRightY>
    <TileLevel>14</TileLevel>
    <TileCountX>1</TileCountX>
    <TileCountY>1</TileCountY>
    <YOrigin>top</YOrigin>
  </DataWindow>
  <Projection>EPSG:3857</Projection>
  <BlockSizeX>512</BlockSizeX>
  <BlockSizeY>512</BlockSizeY>
  <BandsCount>1</BandsCount>
  <DataType>Int16</DataType>
  <ZeroBlockHttpCodes>403,404</ZeroBlockHttpCodes>
  <DataValues>
    <NoData>-32768</NoData>
  </DataValues>
  <Cache/>
</GDAL_WMS>

次に、次のように境界ボックスにクリップできます。

gdalwarp -of "GTiff" -te -13648825.0817 4552130.7825 -13627575.5878 4565507.2624 mapzen_wms.xml test.tif

S3バケットについてはあまり知りませんが、http RESTサービスを使用した認証を備えたクラウドストレージドライブのようです。つまり、通常のマウントポイントとして、関連付けられたURIとともに使用できます。

画像/ラスターの一部をトリミングする場合、ファイルは適切な形式である必要があります。

TMS仕様をご覧ください http://wiki.osgeo.org/wiki/Tile_Map_Service_Specificationをご覧ください

（おそらく、netCDFもこのトリックを実行できます。）

GDALは、TMS形式の読み取りと書き込みも行います。基本的には、いくつかのメタデータファイルを含む標準のディレクトリ構造にすぎません。

ここでの秘driverは、TMSドライバーを介して地理的範囲パラメーターを使用してURLをオンザフライで作成することです。

OpenLayers TMSドライバーのドキュメント をご覧ください：http : //dev.openlayers.org/docs/files/OpenLayers/Layer/TMS-js.html場所、ズーム、範囲に基づいてリクエストを処理する方法を確認するには。

もちろん、Pythonで実行できます。まず、viscurlを使用して適切な「マウントポイント」（またはパス）URIを作成し（ドキュメントに従って）、その後、TMS仕様（パスの拡張）に従って特定のタイルにマウントします。 。