大きなデータセットをPostGISにインポートするための最良のハックは何ですか？

私はPostGISに大きなシェープファイル（100万件以上のレコード）をインポートする必要があり、それを行う最善の方法について疑問に思っていました。

私の質問では、ツールの代わりに「ハック」という言葉を意図的に使用しました。これは、どのツールではなく、使用するステップまたは構成設定の問題であると思うからです。これまで、SPITプラグイン（QGIS）、shp2pgsql Postgisツール、GDAL ogr2ogrツールを試しました。この投稿で私の完全なレビューを見ることができます。これまでのところ、大規模なデータセットを処理する場合、それらのすべてが本当に応答していません。誰かが同様の問題を経験したかどうか、そしてアプローチについて何かを共有できるかどうか疑問に思っていました。

私はあなたのためにテストを行いました：

• PostgreSQL 9.3
• PostGIS 2.1
• Windows 7
• i7 3770@3.4 GHzプロセッサー
• GDAL 2.0-dev 64-ビット
• 114万ポリゴンのシェープファイル、ファイルサイズ748 MB

Ogr2ogrコマンド：

ogr2ogr -f PostgreSQL PG： "dbname = 'databasename' host = 'addr' port = '5432' user = 'x' password = 'y'" test.shp --config PG_USE_COPY YES -nlt MULTIPOLYGON

合計時間：1分30秒

user30184の提案の後、Paul Ramseyと私自身の実験。この質問に答えることにしました。

この質問では、データをリモートサーバーにインポートしているとは言いませんでした。（それは私が参照するブログ投稿で説明されていますが）。インターネットを介した挿入などの操作は、ネットワーク遅延の影響を受けます。おそらく、このサーバーがAmazon RDS上にあることを言及することは重要ではありません。

これを念頭に置いて、「\ copy」ディレクティブを使用してデータのダンプを新しいテーブルに昇格させて、アプローチを再設計しました。この戦略は重要なキーであり、この質問へのコメント/回答でも言及されていると思います。

psql database -U user -h host.eu-west-1.rds.amazonaws.com -c "\copy newt_table from 'data.csv' with DELIMITER ','"

この操作は非常に高速でした。csvをインポートしてから、ジオメトリの入力、空間インデックスの追加などのすべての作業を行いました。サーバーでクエリを実行していたため、それでも非常に高速でした。

私はまた、ベンチマークからの提案に決めたuser30184、ポール・ラムジー。データファイルは、3035369レコードと82 MBのポイントシェープファイルでした。

ogr2ogrアプローチ（PG_USE_COPYディレクティブを使用）は1:03:00 mで終了しましたが、これは以前よりもはるかに優れています。

shp2pgsqlアプローチ（-Dディレクティブを使用）は、わずか00:01:04 mで終了しました。

shp2pgsqlは作成しませんでしたが、ogr2ogrは操作中に空間インデックスを作成したと言う価値があります。このタイプのリクエストでインポート操作を肥大化させるよりも、インポートを行った後にインデックスを作成する方がはるかに効率的であることがわかります。

結論は次のとおりです。shp2pgsqlは、適切にパラメーター化されている場合、大規模なインポート、つまりAmazon Web Servicesに収容されるものを実行するのに非常に適しています。

この投稿の更新で、これらの結論のより詳細な説明を読むことができます。