次のワークフローでポイントシェープファイルを取得するように設計されたPythonコードがあります。
- ポイントをマージ
- 互いに1 m以内のポイントが1つのポイントになるようにポイントを統合します
- フィーチャレイヤーを作成します。z<10のポイントが選択されています
- バッファポイント
- ポリゴンからラスター1mの解像度
- 再分類、ここで1-9 = 1; NoData = 0
各シェープファイルには、約5x7 kmをカバーする約250,000〜350,000ポイントがあります。入力として使用されるポイントデータは、ツリーの位置を表します。各ポイント（つまりツリー）には、クラウン半径を表す「z」値が関連付けられており、バッファプロセスで使用されます。私の目的は、最終的なバイナリ出力を別のプロセスで使用して、天蓋カバーを記述するラスターを作成することです。
4つのシェープファイルでテストを実行したところ、700MBのラスターが生成され、35分かかりました（i5プロセッサと8GB RAM）。このプロセスを3500個のシェープファイルで実行する必要があるので、プロセスを合理化するためのアドバイスをいただければ幸いです（添付コードを参照）。一般的に、ジオプロセシングビッグデータを処理する最良の方法は何ですか？より具体的には、効率を高めるのに役立つ可能性のあるコードまたはワークフローの調整はありますか？
編集：
ジオプロセシングタスクの時間（全体の％）：
- マージ= 7.6％
- 積分= 7.1％
- Lyrへの機能= 0
- バッファー= 8.8％
- ポリゴンからラスター= 74.8％
- 再分類= 1.6％
# Import arcpy module
import arcpy
# Check out any necessary licenses
arcpy.CheckOutExtension("spatial")
# Script arguments
temp4 = arcpy.GetParameterAsText(0)
if temp4 == '#' or not temp4:
temp4 = "C:\\gdrive\\temp\\temp4" # provide a default value if unspecified
Reclassification = arcpy.GetParameterAsText(1)
if Reclassification == '#' or not Reclassification:
Reclassification = "1 9 1;NODATA 0" # provide a default value if unspecified
Multiple_Value = arcpy.GetParameterAsText(2)
if Multiple_Value == '#' or not Multiple_Value:
Multiple_Value = "C:\\t1.shp;C:\\t2.shp;C:\\t3.shp;C:\\t4.shp" # provide a default value if unspecified
# Local variables:
temp_shp = Multiple_Value
Output_Features = temp_shp
temp2_Layer = Output_Features
temp_Buffer = temp2_Layer
temp3 = temp_Buffer
# Process: Merge
arcpy.Merge_management(Multiple_Value, temp_shp, "x \"x\" true true false 19 Double 0 0 ,First,#,C:\\#########omitted to save space
# Process: Integrate
arcpy.Integrate_management("C:\\gdrive\\temp\\temp.shp #", "1 Meters")
# Process: Make Feature Layer
arcpy.MakeFeatureLayer_management(temp_shp, temp2_Layer, "z <10", "", "x x VISIBLE NONE;y y VISIBLE NONE;z z VISIBLE NONE;Buffer Buffer VISIBLE NONE")
# Process: Buffer
arcpy.Buffer_analysis(temp2_Layer, temp_Buffer, "z", "FULL", "ROUND", "NONE", "")
# Process: Polygon to Raster
arcpy.PolygonToRaster_conversion(temp_Buffer, "BUFF_DIST", temp3, "CELL_CENTER", "NONE", "1")
# Process: Reclassify
arcpy.gp.Reclassify_sa(temp3, "Value", Reclassification, temp4, "DATA")
3
これらは、パフォーマンスの向上を試み、見つけることに焦点を当てすることができますように-それは時間の大部分は、1つまたはいくつかのステップに入っているかどうかを確立するために、いくつかのパフォーマンスのタイミングコードに置く価値があるかもしれない
—
PolyGeo
ArcPyを使用し続けている場合、パフォーマンスを改善するための選択肢はあまりないと思います。たぶん、あなたはこれを行うために他のツールを見ることができますか？FMEや多分postgisのようなツール？
—
tmske
使用されているピクセルタイプは明確ではありませんが、「バイト」（あるべき）の場合、生データストレージはラスターごとに5000x7000 = 35Mb（〜33.4MB）になりますが、実際にはそれほど大きくありません。ただし、3500の次のディメンション（時間ディメンション？）では、合計rawサイズが〜114GBに増加します。
—
マイクT
この説明からアルゴリズムの実行内容（または実行予定）を伝えることはできませんが、ほとんどの場合、ポイントバッファーとそれに続くラスタ化は、ポイントのラスタライズとそれに続く焦点統計（通常は平均または合計）に置き換える必要があります。結果は同じになりますが、長いバッファリングとポリラスタライゼーションのステップを回避することにより、はるかに高速に取得できます。私は（大幅に）大幅な追加の高速化が得られると考えていますが、手順の説明があいまいであるため、具体的なアドバイスを提供できません。
—
whuber
ポイントの周囲のバッファーは可変サイズです（ポイントのz値に基づきます）。私はまだ焦点統計を行うために、結果値をz値で分割し、各セットでラスターと焦点統計を行う必要があります（統計値として最大値を持つ円形近傍の半径としてzを使用します）。次に、最大統計を使用して9つのラスターすべてでセル統計を実行し、結果をまとめます。（おそらく、ビッグデータセットでバッファリングおよびラスタライズするよりもはるかに高速です。）
—
blord-castillo