数十億のポリゴン（バウンディングボックス）の効率的なラスターサンプリング

何十億ものバウンディングボックス（ファイルから順番に読み込まれる）で構成されるセットが与えられ、各セルのラスター値が重複するバウンディングボックスの数を与える必要がある場合、ラスターを効率的に（Pythonで）計算するにはどうすればよいですか？

4000 * 4000ラスターの場合

私はnumpy行列の作成に時間をかけました：

$ python -m timeit 'import numpy' 'a = numpy.zeros(shape=(4000,4000))'
10 loops, best of 3: 51.7 msec per loop

標準のPython行列の作成：

$ python -m timeit 'a = 4000*[0]' 'for i in range(4000):' ' a[i]=4000*[0]'
10 loops, best of 3: 218 msec per loop

したがって、numpyはより高速ですが、ループあたり50ミリ秒、10億回の反復により、実行時間は約1年（0.05ミリ秒* 1000000000/60/60/24/365 = 1.5年）になります。

したがって、各ポリゴンをサンプリングすることはできません。この問題の典型的なアプローチは何ですか？

あなたは、timeitいくつかのオーバーヘッドを追加しますnumpyの輸入を、含まれています。それでは、境界ボックスのサブセットのコードを記述し、ループの時間を計ってから、それを乗算して、合計実行時間を推定してみませんか？

単一のコンピューターでそれを解決することは、本質的にシリアルであり、比較的単純な操作では、すでに単純なアルゴリズムから大きな最適化を得ることができない可能性があります。ある種の手動のmap-reduce操作（「map-reduceがない」という警告があることは知っています）で分割して、コアの数と同じ数のインスタンスを実行してみてください。n個のラスターのモザイク化/マージ（縮小ステップ）は、非常に高速な操作です。これは、マルチスレッドソリューションよりもコードの苦痛が少ないでしょう。

代わりに（または追加で）、重複したボックスやネストされたボックスなどの特定のバウンディングボックスを組み合わせるプログラムを作成することもできます。これには空間インデックスが必要になります。ない場合は、特にメインアルゴリズムをローカルで並列化する場合に、1つ作成すると有益な場合があります。

また、手元にない複数のコンピューターの並列化を無視しないでください。最善の見積もりが1年を超える場合は、単一のコンピュータバージョンを実行するのにかかる費用を合計し、クラウドコンピューティングに費やす時間と比較する必要があります。@whuberが言うように、1024のGPUはデータを非常に迅速に処理するので、CUDAに1週間費やしても、コストはほとんどかかりません。上司が複数のコンピューターでそれを試すことを禁止している場合は、コスト分析を行い、いくつかの明確な数値を渡してください。その上で、データの価値とあなたの時間の価値を比較検討します。

私が正しく理解していれば、何十億ものバウンディングボックスのセットを画像にレンダリングするようなものです。セル（ピクセル）の上に各ポリゴンを「ペイント」する代わりに、それらを数える（または累積する）ことを除きます。

（比較的）単純なコード（OpenGL、Vulcan、Direct3D）を使用して、ポリゴンをレンダリングし、ステンシルバッファーにカウントを蓄積できます。ポリゴンが正確にピクセル境界に収まるように注意し、カウントがオーバーフローしないようにステンシルバッファーのデータタイプを選択してください。1つのGPUで数秒で実行されると思います...