ArcGISツールとして実行されるPythonスクリプトを高速化する方法[非公開]

これは非常に一般的な質問です。ツールボックスにインポートして実行するarcpyスクリプトを高速化するために、GISプログラマーがどのようなヒントとコツを使用したのかと思っています。

私はほとんど毎日、小さなスクリプトを書いて、オフィスの非GISユーザーがGISデータを処理できるようにしています。一般的に、ArcGIS 10.0の処理は9.3.1よりも遅く、Pythonスクリプトを実行するとさらに遅くなることがあります。

実行に24時間以上かかるスクリプトの特定の例をリストします。これは、バッファ内の各形状について、バッファ内のラスタの領域を集計するループです。バッファーには約7000の形状があります。私はそれがこれほど長く続くとは思わない。A

while x <= layerRecords:

    arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
    arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
    TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

    arcpy.AddMessage ("          - Row: " + str(x) + " completed")
    x = x + 1
    z = z + 1

誰かがそれを言う前に、私はバッファ全体で表領域を実行しましたが、複数のレコードで実行するとエラーが発生します。これは欠陥のあるツールですが、使用する必要があります。

とにかく、このスクリプトを最適化または高速化する方法についてアイデアをお持ちの方がいらっしゃれば幸いです。それ以外の場合、ArcGISで使用する場合、Pythonのスピードアップのトリックはありますか？

プロセスの高速化に役立つ可能性のある提案は次のとおりです。

1. Select Layer By Attributeは、ArcGIS Desktopを起動することなく、Pythonのみのスクリプトに含めることができます。「バフ」参照をファイルベースの参照から「ArcGISレイヤー」参照に変換する必要があります。これは、ArcGISが選択クエリを処理できます。使用arcpy.MakeFeatureLayer_managementその後、あなたの「しばらく」ループ上記（「バフ」、「buff_lyr」）、および「buff_lyr」を使用するwhileループの下に、あなたの参照を変更。

2. in_memoryワークスペースを使用して、できるだけ多くのGP操作を処理します ... arcpy.CopyFeatures_management（shapefile、 "in_memory \ memFeatureClass"）を使用して、ソースをメモリに移動します。これは、必要なすべてのフィーチャクラスをメモリに読み込むのに十分なRAMがある場合にのみ有効です。ただし、in_memoryワークスペースを使用して実行できないGP操作がいくつかあることに注意してください（例：プロジェクトツール）。

ArcGIS 9.3オンラインヘルプ記事「中間データとスクラッチワークスペース」から（この言語は10.0および10.1ヘルプから削除されました）：

注：in_memoryワークスペースに書き込むことができるのは、テーブルとフィーチャクラス（ポイント、ライン、ポリゴン）のみです。インメモリワークスペースは、サブタイプ、ドメイン、リプレゼンテーション、トポロジ、ジオメトリックネットワーク、ネットワークデータセットなどの拡張ジオデータベース要素をサポートしていません。簡単な機能とテーブルのみを記述できます。

ArcGIS 10.1オンラインヘルプ記事「メモリ内ワークスペースの使用」から：

インメモリワークスペースへの出力の書き込みを決定する際には、次の考慮事項を考慮する必要があります。

• インメモリワークスペースに書き込まれるデータは一時的なものであり、アプリケーションが閉じられると削除されます。
• テーブル、フィーチャクラス、およびラスターをインメモリワークスペースに書き込むことができます。
• インメモリワークスペースは、サブタイプ、ドメイン、リプレゼンテーション、トポロジ、ジオメトリックネットワーク、ネットワークデータセットなどの拡張ジオデータベース要素をサポートしていません。
• インメモリワークスペースでは、フィーチャデータセットまたはフォルダーを作成できません。

一般的なpython最適化手法を使用すると、かなりの時間を節約できます。

スクリプト内でホールドアップがどこにあるのかを把握するための本当に良いテクニックの1つは、組み込みのcProfileモジュールを使用することです。

from cProfile import run
run("code") # replace code with your code or function

小さなデータサンプルを使用してテストすると、どの関数呼び出しが最も時間がかかっているかを特定できます。

Pythonコードを高速化するための一般的なポインター：

• リスト内包表記は一般にループよりも高速です
• ジェネレータは、リスト全体を一度に作成するのではなく、一度に1つのアイテムを作成します
• python 2ではrangeの代わりにxrangeを使用します（3では必要ありません）
• アイテムがセットに存在するが、それは、その内容を反復処理することになると、一般的に遅くなるリストよりであれば、それは決定に来るときセットが出てプリフォームのリストをすることができますソース
• 関数呼び出しはパフォーマンスに負荷がかかる可能性がありますSource
• その他のヒントと詳細はこちらをご覧くださいPython Perfomance Tips and here 10 Python Optimization Tips and Issues

スクリプトに関しては、このコンピューターにArcがインストールされていないため、ArcPyの側面についてコメントすることはできませんが、whileループの代わりにforループを使用してみてください。また、x = x + 1はx + = 1として記述できます。

for record in layerRecords:
arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

arcpy.AddMessage ("          - Row: " + str(x) + " completed")
x+=1
y+=1

コンピューターの内部ドライブに書き込みを行っていることを確認してください。必要のないときにネットワーク経由で到達すると、処理が本当に遅くなる可能性があります。プロセスの最初のステップとしてデータをコピーして、後続の読み取り/書き込みを可能な限り高速に保つこともより高速です。

ArcMapの完全に外部でスクリプトを実行すると、はるかに高速になります。処理中にマップが不要な場合は、ArcMapを使用しないでください。

これは、ArcMap内でArcPyツールを実行するための質問には答えないかもしれませんが、ジオプロセシングツールとPythonで肉の処理を行う必要がある場合、IDE PyScripterを使用してGISシステムの外で実行する傾向があります。私はそれがより速く動くことを発見しました。また、小さな一時出力データセットにRAMDISKを使用しました（in_memoryワークスペースに少し似ています）

まあ、彼らは私の一番のヒントです！:)

arcpy.SetProgressorLabelをコメントアウトして、どれだけ高速化されるかを確認してください。私は、DOSのぼんやりした画面出力では、処理時間が大幅に遅くなることを発見しました。その出力を本当に見る必要がある場合は、N番目のループごとに表示してみてください。

import xxxx使用されていない行は必ず削除してください。

（つまりimport Math、まだ数学関数を使用していない場合は、スクリプトのロードから時間がかかります）

これは、実行する単一のスクリプト（ユーザーのスクリプトなど）には大きな影響を与えませんが、頻繁に繰り返し実行されるスクリプトには影響します。