Rで多くのラスターを効率的に読み取って再分類しますか？

私はメキシコ湾の波の状態の適合性分析を作成するように命じられました。約8 MBのラスターファイルが2千個ほどあります（2438列、1749行、1 kmのセルサイズ）。ラスターファイルのパラメーターは波の周期です。if 4<= wave period <=9 then make cell = 1、else cell = 0のようにすべてのラスターを再分類します。次に、すべてのラスターを最終ラスターに合計し、ラスターの総数で除算して、適切な観測の合計パーセンテージと一部のESRI互換形式へのエクスポート結果...必要に応じて浮動小数点をサポートできるものかもしれません。私はPythonもRもあまり操作していませんが、オンラインで検索した後、これらの言語の1つでこのプロセスを実行することは理にかなっているようです。私はこれまでにRでいくつかのコードを考え出しましたが、これを機能させる方法について混乱しています。

library(rgdal)
raster_data <- list.files(path=getwd())    #promt user for dir containing raster files
num_files <- length(raster_data)
for (i in raster_data) {                   #read in rasters
   my_data <- readGDAL(raster_data[i])

この時点で、このループ内でデータの再分類と集計を開始する必要があるかどうかについて混乱しています。そうでなければ、コンピュータのメモリが不足する可能性があると思いますが、確信が持てません。また、データを再分類する方法についてもわかりません。

オンラインでの調査ではreclass(my_data, c(-Inf,3,0, 4,9,1, 10,Inf,0))、を使用すると思いますが、それは正しく見えますか？

そして、要約するためにsum(stack(my_data))、私はそれを使用し、どういうわけかそれを出力します。また、これがより効率的に実行されるか、Pythonで記述されている場合は、私もそれを受け入れます。プログラミングに関しては、私は本当に初心者です。

これは、Rでこれを行うための簡潔な方法です---ここでは中間ファイルなしで：

library(raster)
raster_data <- list.files(path=getwd())    #promt user for dir containing raster files
s <- stack(raster_data)
f <- function(x) { rowSums(x >= 4 & x <= 9) }
x <- calc(s, f, progress='text', filename='output.tif')

コメントで気づいたように、特定の側面でパフォーマンスの問題があるため、一般的にRを非統計的な目的で使用することは避けてください（サイクルの操作は一例です）。これは、単一バンドの単一ファイルの再分類のためのPyhton（この記事のおかげ）でのコード例です。ディレクトリからすべてのファイルを取得する方法を知っている場合は、バッチ処理用に簡単に変更できます。ラスタは配列として表されるので、必要に応じて配列メソッドを使用してパフォーマンスを向上させることができます。Pythonでの配列の操作については、Numpyのドキュメントを参照してください。

UPD：最初に投稿したコードは、ピクセルごとの処理に必要なカスタムフィルターの切り捨てられたバージョンでした。しかし、この質問では、Numpyを使用するとパフォーマンスが向上します（コードを参照）。

from osgeo import gdal
import sys
import numpy

gdalData = gdal.Open("path_to_file")
if gdalData is None:
  sys.exit("ERROR: can't open raster")

#print "Driver short name", gdalData.GetDriver().ShortName
#print "Driver long name", gdalData.GetDriver().LongName
#print "Raster size", gdalData.RasterXSize, "x", gdalData.RasterYSize
#print "Number of bands", gdalData.RasterCount
#print "Projection", gdalData.GetProjection()
#print "Geo transform", gdalData.GetGeoTransform()


raster = gdalData.ReadAsArray()
xsize = gdalData.RasterXSize
ysize = gdalData.RasterYSize

#print xsize, 'x', ysize

## per pixel processing
#for col in range(xsize):
#  for row in range(ysize):
#    # if pixel value is 16 - change it to 7
#    if raster[row, col] == 16:
#      raster[row, col] = 7

#reclassify raster values equal 16 to 7 using Numpy
temp = numpy.equal(raster, 16)
numpy.putmask(raster, temp, 7)

# write results to file (but at first check if we are able to write this format)
format = "GTiff"
driver = gdal.GetDriverByName(format)
metadata = driver.GetMetadata()
if metadata.has_key(gdal.DCAP_CREATE) and metadata[gdal.DCAP_CREATE] == "YES":
  pass
else:
  print "Driver %s does not support Create() method." % format
  sys.exit(1)
if metadata.has_key(gdal.DCAP_CREATECOPY) and metadata[gdal.DCAP_CREATECOPY] == "YES":
  pass
else:
  print "Driver %s does not support CreateCopy() method." % format
  sys.exit(1)

# we already have the raster with exact parameters that we need
# so we use CreateCopy() method instead of Create() to save our time
outData = driver.CreateCopy("path_to_new_file", gdalData, 0)
outData.GetRasterBand(1).WriteArray(raster)

1. readGDALは使用しないでください。これはSpatial *オブジェクトに読み込まれますが、これは良い考えではありません。

2. rasterパッケージを使用してください。GDALをRasterオブジェクトに読み込むことができます。これらは良いことです。r = raster("/path/to/rasterfile.tif")に読み込まれrます。

3. あなたの分類は t = r > 4 & r <= 9

4. 大きな問題は、これらを新しいラスターファイルに出力してから、別のループで要約手順を実行するかどうかです。ストレージがある場合は、ループが失敗した場合（これらの2000ファイルの1つがジャンクであるため）もう一度開始する必要があるため、新しいファイルに書き込みます。したがって、writeRasterしきい値ラスターを作成する場合は、を使用して作成します。

5. あなたのループはそのようなものです

この。

count = raster(0,size of your raster)
for(i in 1:number of rasters){
  r = raster(path to binary raster file 'i')
  count = count + r
}
return(count)

Rのメモリ管理はここであなたに打撃を与えるかもしれません-あなたがそうするとき、count=count+rRはの新しいコピーを作成するかもしれませんcount。つまり、2000コピーになる可能性があります。ただし、ガベージコレクションが実行されてクリーンアップされるため、Rのループは非常に悪かったのです。

タイミングに関しては、私の4yo PCでは、0〜20の乱数のサイズのラスターでしきい値opが約1.5秒かかります。Times 2000 =あなたは数学をします。いつものように、コードを開発するための小さなテストセットを作成し、実際のデータでそれを起動してコーヒーを飲みます。