PyQGISでのGIS操作の並列化？

GISの一般的な要件は、処理ツールを多数のファイルに適用するか、1つのファイルの多数のフィーチャのプロセスを別のファイルに適用することです。

これらの演算の多くは、計算結果がループ内の他の演算に影響を与えないという点で、恥ずかしいほど並行しています。それだけでなく、多くの場合、入力ファイルはそれぞれ異なります。

典型的な例は、シェイプファイルを、ポリゴンを含むファイルに対してクリップします。

これは、QGISのPythonスクリプトでこれを達成するための（テスト済みの）古典的な手続き型の方法です。（テストファイルを処理する時間を半分にしたよりも、実際のファイルへの一時メモリファイルの出力をfyi）

import processing
import os
input_file="/path/to/input_file.shp"
clip_polygons_file="/path/to/polygon_file.shp"
output_folder="/tmp/test/"
input_layer = QgsVectorLayer(input_file, "input file", "ogr")
QgsMapLayerRegistry.instance().addMapLayer(input_layer)
tile_layer  = QgsVectorLayer(clip_polygons_file, "clip_polys", "ogr")
QgsMapLayerRegistry.instance().addMapLayer(tile_layer)
tile_layer_dp=input_layer.dataProvider()
EPSG_code=int(tile_layer_dp.crs().authid().split(":")[1])
tile_no=0
clipping_polygons = tile_layer.getFeatures()
for clipping_polygon in clipping_polygons:
    print "Tile no: "+str(tile_no)
    tile_no+=1
    geom = clipping_polygon.geometry()
    clip_layer=QgsVectorLayer("Polygon?crs=epsg:"+str(EPSG_code)+\
    "&field=id:integer&index=yes","clip_polygon", "memory")
    clip_layer_dp = clip_layer.dataProvider()
    clip_layer.startEditing()
    clip_layer_feature = QgsFeature()
    clip_layer_feature.setGeometry(geom)
    (res, outFeats) = clip_layer_dp.addFeatures([clip_layer_feature])
    clip_layer.commitChanges()
    clip_file = os.path.join(output_folder,"tile_"+str(tile_no)+".shp")
    write_error = QgsVectorFileWriter.writeAsVectorFormat(clip_layer, \
    clip_file, "system", \
    QgsCoordinateReferenceSystem(EPSG_code), "ESRI Shapefile")
    QgsMapLayerRegistry.instance().addMapLayer(clip_layer)
    output_file = os.path.join(output_folder,str(tile_no)+".shp")
    processing.runalg("qgis:clip", input_file, clip_file, output_file)
    QgsMapLayerRegistry.instance().removeMapLayer(clip_layer.id())

入力ファイルが2GBで、ポリゴンクリッピングファイルに400以上のポリゴンが含まれていることを除いて、これは問題ありません。結果として生じるプロセスは、クアッドコアマシンで1週間以上かかります。その間、3つのコアはアイドル状態にあります。

私の頭の中にある解決策は、プロセスをスクリプトファイルにエクスポートし、たとえばgnu parallelを使用して非同期で実行することです。ただし、QGIS pythonにネイティブなものを使用するのではなく、QGISからOS固有のソリューションにドロップする必要があるのは残念に思えます。だから私の質問は：

Python QGIS内で、恥ずかしいほどに並列な地理的操作をネイティブに並列化できますか？

そうでない場合、おそらく誰かがすでにこの種の作業を非同期シェルスクリプトに送信するコードを持っていますか？

コマンドラインからファイル名を読み取るようにプログラムを変更し、入力ファイルを小さなチャンクに分割する場合、GNU Parallelを使用して次のようなことができます。

parallel my_processing.py {} /path/to/polygon_file.shp ::: input_files*.shp

これにより、コアごとに1つのジョブが実行されます。

すべての新しいコンピューターには複数のコアがありますが、ほとんどのプログラムは本質的にシリアルであるため、複数のコアを使用しません。ただし、多くのタスクは非常に並列化可能です。

• 多くのファイルで同じプログラムを実行する
• ファイル内のすべての行に対して同じプログラムを実行する
• ファイル内のすべてのブロックに対して同じプログラムを実行します

GNU Parallelは一般的な並列化ツールであり、同じマシン上またはsshにアクセスできる複数のマシン上でジョブを簡単に並列実行できます。

4つのCPUで実行する32の異なるジョブがある場合、並列化する簡単な方法は、各CPUで8つのジョブを実行することです。

代わりに、GNU Parallelは終了時に新しいプロセスを生成します-CPUをアクティブに保ち、時間を節約します：

設置

GNU Parallelがディストリビューション用にパッケージ化されていない場合は、ルートアクセスを必要としないパーソナルインストールを実行できます。これを行うことにより、10秒で実行できます。

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

他のインストールオプションについては、http：//git.savannah.gnu.org/cgit/parallel.git/tree/READMEを参照してください。

もっと詳しく知る

他の例を参照してください：http : //www.gnu.org/software/parallel/man.html

イントロビデオを見る：https : //www.youtube.com/playlist?list=PL284C9FF2488BC6D1

チュートリアルをご覧ください：http : //www.gnu.org/software/parallel/parallel_tutorial.html

サポートを受けるには、メーリングリストにサインアップしてください：https : //lists.gnu.org/mailman/listinfo/parallel

GNU Parallelメソッドを使用する代わりに、python mutliprocessモジュールを使用してタスクのプールを作成し、実行できます。QGISセットアップにアクセスしてテストすることはできませんが、Python 2.6でマルチプロセスが追加されたので、2.6以降を使用している場合は利用可能になります。このモジュールの使用に関するオンラインの例はたくさんあります。

これがGNU並列ソリューションです。いくつかの注意を払えば、ほとんどの並外れた並列LinuxベースのogrまたはsagaアルゴリズムをQGISインストール内で実行することができます。

明らかに、このソリューションには、gnu parallelのインストールが必要です。たとえば、Ubuntuにgnu parallelをインストールするには、ターミナルに移動して次のように入力します。

sudo apt-get -y install parallel

注：並列シェルコマンドをPopenまたはサブプロセスで動作させることはできませんでしたが、これはbashスクリプトへのエクスポートをハッキングし、代わりにPopenで実行しました。

ここに私がPythonでラップしたパラレルを使用した特定のシェルコマンドがあります

parallel ogr2ogr -skipfailures -clipsrc tile_{1}.shp output_{1}.shp input.shp ::: {1..400}

各{1}は{1..400}の範囲の数値に交換され、400個のシェルコマンドがgnu parallelによって管理され、i7のすべてのコアが同時に使用されます:)。

以下は、私が投稿した問題の例を解決するために書いた実際のpythonコードです。問題のコードの終わりの直後に貼り付けることができます。

import stat
from subprocess import Popen
from subprocess import PIPE
feature_count=tile_layer.dataProvider().featureCount()
subprocess_args=["parallel", \
"ogr2ogr","-skipfailures","-clipsrc",\
os.path.join(output_folder,"tile_"+"{1}"+".shp"),\
os.path.join(output_folder,"output_"+"{1}"+".shp"),\
input_file,\
" ::: ","{1.."+str(feature_count)+"}"]
#Hacky part where I write the shell command to a script file
temp_script=os.path.join(output_folder,"parallelclip.sh")
f = open(temp_script,'w')
f.write("#!/bin/bash\n")
f.write(" ".join(subprocess_args)+'\n')
f.close()
st = os.stat(temp_script)
os.chmod(temp_script, st.st_mode | stat.S_IEXEC)
#End of hacky bash script export
p = Popen([os.path.join(output_folder,"parallelclip.sh")],\
stdin=PIPE, stdout=PIPE, stderr=PIPE)
#Below is the commented out Popen line I couldn't get to work
#p = Popen(subprocess_args, stdin=PIPE, stdout=PIPE, stderr=PIPE)
output, err = p.communicate(b"input data that is passed to subprocess' stdin")
rc = p.returncode
print output
print err

#Delete script and old clip files
os.remove(os.path.join(output_folder,"parallelclip.sh"))
for i in range(feature_count):
    delete_file = os.path.join(output_folder,"tile_"+str(i+1)+".shp")
    nosuff=os.path.splitext(delete_file)[0]
    suffix_list=[]
    suffix_list.append('.shx')
    suffix_list.append('.dbf')
    suffix_list.append('.qpj')
    suffix_list.append('.prj')
    suffix_list.append('.shp')
    suffix_list.append('.cpg')
    for suffix in suffix_list:
        try:
            os.remove(nosuff+suffix)
        except:
            pass

すべてのコアが完全なノイズまで発火するのを見ると、それは本当に何かを教えてください:)。OleとGnu Parallelを構築したチームに感謝します。

クロスプラットフォームソリューションがあればいいのですが、qgis組み込みpythonのマルチプロセッシングpythonモジュールを見つけられたらいいのですが、そうではありませんでした。

とにかく、このソリューションは私とおそらくあなたに役立つでしょう。