5
OSMデータのosm2pgsqlインポートの最適化
現在、EC2でインスタンスを構築しています。このインスタンスで、現在取り組んでいるいくつかのプロジェクトの地球全体のデータのPlanet.osmスナップショット全体をインポートします。大規模なUbuntu x64インスタンスをスピンアップし、Postgresデータベース用にEBSボリュームに多数の個別のストレージを接続し、PGSQLデータを格納するように変更しました。 現在、サーバーはosm2pgsqlスナップショットのインポートに問題があります...さまざまなメモリ構成などで2、3回試行した後、プロセスはほとんどの処理を行った後「Killed」を出力し続けます。「保留中のウェイを通過中」に削除され、次回、スリムキャッシュをわずかに調整した後、クラッシュする前に「処理中のウェイ」に到達しました。私が読んだことから、これは一般的にメモリの問題によるものです。 インポートを実行する私の最新の試みは次のとおりです。 osm2pgsql -v -U osm -s -C 4096 -S default.style -d osm /data/osm/planet-latest.osm.bz2 そして、EC2のLargeインスタンスの仕様は次のとおりです。 ラージインスタンス7.5 GBのメモリ、4つのEC2コンピューティングユニット(それぞれ2つのEC2コンピューティングユニットを備えた2つの仮想コア)、850 GBのローカルインスタンスストレージ、64ビットプラットフォーム 私の質問です-osm2pgsqlとPostgresのチューニング要件を決定するための良いベンチマークリソースはありますか?インポートの速度はそれほど重要ではありません。4〜5日かかる場合でも、プロセスが安全に完了することを確認できるようにしたいと思います。フレデリックラムの「レンダリングの最適化」を読みました。チェーン」(昨年のSOTMからの(PDF)ドキュメントですが、他にも良い意見/リソースはありますか?