postgisテーブルの重複するジオメトリを削除する

後-何が起こったのかわかりません-PostGISテーブルのすべてのエントリが2倍になりました！私はこれを削除しようとしましたが、重複は削除されません：

DELETE FROM planet_osm_point
       WHERE osm_id NOT IN (SELECT min(osm_id)
                        FROM planet_osm_point
                        GROUP BY osm_id)

またはこれ：

DELETE FROM planet_osm_point
WHERE osm_id NOT IN (
    select max(dup.osm_id)
    from planet_osm_point as dup
    group by way);

編集：

私はついに簡単な方法を見つけました、それは私の場合に機能しています：

DELETE FROM planet_osm_point WHERE ctid NOT IN
(SELECT max(ctid) FROM planet_osm_point GROUP BY osm_id);

このページにあります：http : //technobytz.com/most-useful-postgresql-commands.html

これを行う1つの方法は、ウィンドウ関数を使用し、ジオメトリごとにパーティション分割することです。これにより、繰り返される各ジオメトリにID（1、2、3など）（または1、2）が割り当てられ、その後、 id = 1のテーブル。一意の値のセット（属性とジオメトリ）を取得します。たとえば、

WITH unique_geoms (id, geom) as 
 (SELECT row_number() OVER (PARTITION BY ST_AsBinary(geom)) AS id, geom FROM some_table)
SELECT geom 
FROM unique_geoms 
WHERE id=1;

明らかに、selectに他のosm列も追加する必要があります。これは単に説明のためですが、これは基本的に、ジオメトリによるグループ化とそれぞれの最初のインスタンスの選択と同じです。注意してください。そうでない場合、比較は実際のジオメトリではなくバウンディングボックスで行われるため、Partition ByでST_AsBinaryを使用する必要があります。

他のすべての属性はおそらくジオメトリペアごとに同じであるため、osm_idを含む他のすべてのフィールドに対して次のようにし、実際に新しい一意のテーブルを作成します。

CREATE TABLE osm_unique AS
 WITH unique_geoms (id, osm_id, attr1, attr2,... attrn, geom) AS 
  (SELECT row_number() OVER (PARTITION BY ST_AsBinary(geom)) AS id, osm_id, attr1, attr2,... attrn, geom 
    FROM osm_planet_point)
 SELECT osm_id, attr1, attr2,... attrn, geom 
 FROM unique_geoms 
 WHERE id=1;

これは既存のテーブルから削除するよりも速い場合があります（特に、適切な場所に多数のインデックスがある場合）。

編集。読みやすくするために書き直しましたが、ST_AsBinary（geom）に注意を向けたのはdbastonのおかげです。

これは、SSURGO土壌データダウンロードから重複を削除するために使用した別の方法です。ダウンロードしたシェープファイルには一意のキーがなかったため、PostGISにインポートしたときにシリアルpk列が生成されました。データセットにいくつかのオーバーラップがあり、インポートスクリプトの開発中に誤っていくつかのレコードを2回以上インポートしました。

group byステートメントには、主キーを除く、テーブル内のすべての列が含まれます。

実行されるたびに1セットの重複行のみが削除されるため、行が4回繰り返される場合、これを最低3回実行する必要があります。これはおそらくJohnのソリューションほど高速ではありませんが、既存のテーブル内で機能します。また、一意のジオメトリごとに一意のIDがない場合にも機能します（元の質問のosm_idなど）。

私はpythonスクリプトを使用して、重複がなくなるまで繰り返し、次に完全なバキュームを実行しました。スクリプトとバキュームはそれぞれ、6つのテーブルにある約150万のレコードから数十万の複製に約30分かかったと思います。単発には十分です。小さなテーブルを素早く通過しました。

DELETE FROM schema.table 
  WHERE primary_key IN
    (SELECT MAX(primary_key)
     FROM schema.table 
     GROUP BY ST_AsBinary(geom), col_1, col_2, col_etc
     HAVING COUNT(primary_key) > 1);

編集：@dbastonの提案（下記）に基づいて複数回実行されないようにSQLを変更しました。このクエリメソッドを大きなテーブル（最大150万レコード、最大25,000の重複するポイント行）で試し、45分間実行した後、その実行をキャンセルしました。上記のSQLで実行すると（HAVING COUNTの小さなサブクエリを使用）、各実行が30秒未満に短縮されました。3回実行した後、すべて重複して行われました。以下のSQLは、小さなテーブルでは問題ないはずです。

DELETE FROM schema.table 
  WHERE primary_key NOT IN
    (SELECT MAX(primary_key)
     FROM schema.table 
     GROUP BY ST_AsBinary(geom), col_1, col_2, col_etc);

PostGISテーブルでジオメトリの重複を簡単に削除するためのより一般的な答え。次のコマンドは、主キー（列 "gid"）とジオメトリの等価性（列 "geom"）に基づいて、 "table_name"に重複するジオメトリがあるすべてのフィーチャを削除します。それは本当にすべてのジオメトリの複製を削除することに注意してください、それらは永遠に消えてしまいます！多分最初にバックアップしますか？

DELETE FROM schema_name.table_name a
    USING schema_name.table_name b 
WHERE a.gid > b.gid AND st_equals(a.geom, b.geom);