大きなテーブルを持つPythonでArcGISカーソルを使用するときにパフォーマンスを向上させる方法は？

ファイルジオデータベースにかなり大きなポイントフィーチャクラスがあります（最大4 000 000レコード）。これは、100mの解像度を持つ通常の点のグリッドです。

このレイヤーで一種の一般化を行う必要があります。このために、各ポイントが4つの「古い」ポイントの中央にある新しいグリッドを作成します。

 *     *     *     *
    o     o     o
 *     *     *     *
    o     o     o
 *     *     *     *

[*] =元のグリッドのポイント-[o] =新しいグリッドのポイント

新しい各ポイントの属性値は、古いグリッドの4つの近傍の重み付けされた値に基づいて計算されます。したがって、新しいグリッドのすべてのポイントでループし、それらのそれぞれについて、（属性テーブルのXとYの値を比較することによって）隣人を見つけるために、古いグリッドのすべてのポイントでループします。4つのネイバーが見つかったら、ループから抜け出します。

ここには方法論的な複雑さはありませんが、私の問題は、私の最初のテストに基づいて、このスクリプトが完了するまで数週間続くことです...

それをより効率的にする可能性はありますか？私の頭の上のいくつかのアイデア：

• フィールドXとYにインデックスを付ける=>私はそうしましたが、大きなパフォーマンスの変化に気づきませんでした
• 属性ベースのクエリではなく、空間クエリを実行して近傍を検索します。それは実際に役立ちますか？ArcGISのどの空間関数がその仕事をするべきですか？たとえば、新しい各ポイントをバッファリングすることがより効率的であるとは思えない
• フィーチャクラスをNumPy配列に変換します。それは役に立ちますか？私はこれまでNumPyをあまり使用していないので、誰かが処理時間を短縮するのに本当に役立つと私に言わない限り、それについて詳しく知りたくありません。
• 他に何か？

ポイントをnumpy配列に入力し、scipy cKDTreeを使用して近傍を検索するとどうなるでしょうか。この手法を使用して、数分でLiDAR点群を多数のポイント（> 2,000万）で処理します。ドキュメントがあり、ここで kdtreeのためにと、ここで numpyの変換のために。基本的に、x、yを配列に読み取り、配列内の各ポイントを反復処理して、各ポイントの特定の距離（近隣）内のポイントのインデックスを見つけます。これらのインデックスを使用して、他の属性を計算できます。

私はバルバロッサと一緒にいます... arcpyカーソルはめちゃくちゃ足りないので、テーブルまたはフィーチャクラスを1回だけトラバースするためにのみ使用します。1サイクルでジョブを完了できない場合は、カーソルを使用して他の種類のデータ構造を埋め、それを処理します。

numpyに煩わされたくない場合は、座標を単純なテキストキーとして使用する単純なpython 辞書を作成し、計算に必要な属性を辞書項目の値としてリストに入力します。

2番目のステップでは、ディクショナリから取得するだけで、ポイントを計算するために必要な値を簡単に取得できます（アイテムのディクショナリハッシュインデックスのため、非常に高速です）。

通常のグリッドでは、ラスター形式で作業する方がはるかに効率的です。最初のグリッドをラスターに変換します。双線形補間を使用して同じ解像度でリサンプリングできますが、出力画像をXとYで1/2ピクセルシフトし、ポイントが必要な場合はポイントに戻します。

編集：複雑な決定ルールの場合、必要な各フィールドを新しいラスターバンドとして変換し、それらのバンドの4つのコピーを作成して、ラスターを4方向に1/2ピクセル（+50、- 50）、（+ 50、+ 50）、（-50、-50）、（-50、+ 50）。次に、通常のマップ代数を使用できます

皆さん、助けてくれてありがとう！

私はようやくこの問題を解決するための非常に非Python的な方法を見つけました...実際に最も計算時間を費やしていたのは、各ポイントの4つの近傍を見つけることでした。X属性とY属性を使用するのではなく（arcpyカーソルを使用するか、Python辞書などの別のデータ構造内で）、ArcGISツールのGenerate near tableを使用しました。これは空間インデックスを利用しており、自分でインデックスを実装する必要がないため、パフォーマンスは明らかにはるかに高いと思います。

カーソルの問題は、カーソルを一方向にしか循環できず、戻ることができないことです。お勧めしませんが、機能を再検討する場合は、機能に構造を設定できます。

機能を1つのループで処理できた場合は、リサイクルを有効にすることをお勧めします。これは、検索機能クラス関数のパラメーターであり、Pythonが古い機能によって割り当てられたメモリを再利用し、カーソル内の機能をはるかに高速に移動できるようにします。グリッドを80％速く処理できます。

問題は、カーソルから取得したフィーチャーを保存することを計画している場合、リサイクルを有効にできないことです。