Postgresデータベースのすべてのデータを削除する


14

--data-onlyand --column-insertsフラグを使用して本番サーバーから新しいdbダンプを作成したので、ステージングサーバーで復元を実行するときにデータを挿入するための挿入ステートメントの束しかありません。

pg_dump -h localhost -U adminuser --data-only --column-inserts maindb > maindb.sql

本番ダンプからデータを復元する前に、ステージングサーバーデータベースのすべてのデータを最初に削除するにはどうすればよいですか?

すべてのデータのみを削除したいので、データベースやそのすべてのものを削除して作成する必要はありません。データを削除して、新しいデータをすべて挿入したいだけです。

いくつかの理由により、データベースを削除して作成するオプションがありません。私はすべてのデータを削除して挿入するだけでよいので、これを行う方法を見つけるために必要なことは何でも、進んで進んでいきますが、最初から手助けが必要です。

このプロセスも自動化する必要があります。「本番データベースからのデータのダンプ」、「ステージングデータベースのデータの削除」、「ステージングデータベースへのデータの復元」を自動化します。「ステージングデータベースのデータの削除」の部分で助けが必要です。

PostgreSQL 9.5.2で実行しています

回答:


24

データベースを削除する必要はありません。データベースのすべてのオブジェクトを削除するだけで十分です。これは、

drop owned by adminuser

あなたは、その後を含むSQLダンプ作成した場合create tableのステートメントを(そうせずに--data-onlyオプション)すべてが正常でなければなりません。

--column-insertsthenを削除することもできます。これにより、インポートが大幅に高速になります。


ただし、すべてを削除したい場合は、小さな動的SQLを使用して削除できます。

do
$$
declare
  l_stmt text;
begin
  select 'truncate ' || string_agg(format('%I.%I', schemaname, tablename), ',')
    into l_stmt
  from pg_tables
  where schemaname in ('public');

  execute l_stmt;
end;
$$

これにより、スキーマ内のすべてのテーブルがpublic単一のステートメントで切り捨てられます。これは、すべてのテーブルを接続する多くの外部キー制約がある場合でも機能します。テーブルが複数のスキーマにまたがっている場合は、それらをwhere条件に追加する必要があります。


わかりました...このコマンドを使用することは、上記の@ypercubeと同じことTRUNCATE table1, table2, ... <list of all tables>;ですか?彼らは両方とも同じことをしますか?
uberrebu 2016年

1
@babababa:はい、私の答えはそのステートメントを動的に生成して実行するだけなので、すべてのテーブル名を入力する必要はなく、新しいテーブルを追加すると自動的に含まれます。
a_horse_with_no_name 2016年

nice試してみたところ、うまくいきました。@ ypercube oneもうまくいきます...
uberrebu

6

pg_restoreには、操作を実行する前にデータを自動削除する--cleanフラグ(または場合によっては--create)があります。

優れたドキュメントは非常に役立ちます...

わかりやすくするために、混乱する場合があります。

再作成する前に、データベースオブジェクトをクリーン(ドロップ)します。(--if-existsを使用しない限り、宛先データベースにオブジェクトが存在しなかった場合、無害なエラーメッセージが生成される可能性があります。)

これは実際のデータベースを削除しません..テーブル/ビュー/その他のみ。

何らかの理由で、テーブルの削除と再作成が受け入れられない場合はdata only、ソースデータベース、問題、TRUNCATEまたはDELETEターゲットデータベースからダンプを作成するスクリプトを手動で作成するために、より多くの労力を費やす必要があります。データダンプをロードします。私の知る限り、これをすばやく簡単に行う方法はありません。


--cleanフラグはデータを削除し、データベースとテーブルの構造を同じにして空のままにしますか?
uberrebu 2016年

作成テーブルの前にドロップテーブルを発行します。ダンプファイルに存在するすべてのテーブル。ダンプファイルには、テーブルを以前とまったく同じように再作成するための情報(FKeysなどを含む)が含まれていることを願っています。しかし、それは、実際にダンプファイルを作成した方法によって異なります。ただし、「ステージング」について言及し続けるので、実際に探しているのは、本番データベースからのデータをデータウェアハウスのステージングテーブルに入力する方法のようです。それはあなたの目標だ場合、ダンプファイルは、おそらく間違ったアプローチ..です
Joishi Bodio

それはやろうとしていることではありません。データを削除したいだけです。データベースとテーブルの構造は同じままで、変更されません。タイトルからでも、私がやりたいことはかなり明確です
uberrebu

次に、申し訳ありませんが、あなたの解決策ははるかに困難になります。
Joishi Bodio

3
SELECT 'TRUNCATE ' || input_table_name || ' CASCADE;' AS truncate_query FROM(SELECT table_schema || '.' || table_name AS input_table_name FROM information_schema.tables WHERE table_schema NOT IN ('pg_catalog', 'information_schema') AND table_schema NOT LIKE 'pg_toast%') AS information;  

上記のクエリは、データベース内のすべてのテーブルに対して切り捨てクエリを生成します。


0

注:私の答えは、テーブルやその他のデータベースオブジェクトを本当に削除することです。Endre Bothは、テーブルすべてのデータ削除する(つまりすべてのテーブルを切り捨てる)ために、1か月後に同様によく実行される(直接実行)ステートメントを提供しています。

あなただけのことができない場合のためにDROP SCHEMA public CASCADE;DROP OWNED BY current_user;ここにトランザクションセーフ(あなたが間にそれを置くことができる、すなわち私が書いたスタンドアロンのSQLスクリプト、または何かBEGIN;のいずれかROLLBACK;単なるテストに出たりCOMMIT;して、実際に行為を行います) 「すべての」データベースオブジェクトをクリーンアップします。まあ、アプリケーションが使用するデータベースで使用されているもの、または私が賢明に追加できるものはすべて次のとおりです。

  • テーブルのトリガー
  • テーブル上の制約(FK、PK、 、)CHECKUNIQUE
  • 指標
  • VIEWs(通常または具体化)
  • テーブル
  • シーケンス
  • ルーチン(集計関数、関数、プロシージャ)
  • すべてn-n-default(つまりpublic、DB内部ではない)スキーマ「私たち」が所有:スクリプトは、「データベーススーパーユーザーではない」として実行する場合に役立ちます。スーパーユーザーはすべてのスキーマを削除できます(ただし、本当に重要なスキーマは依然として明示的に除外されています)。
  • 拡張機能(ユーザーから提供されたものですが、通常は意図的に残します)

ドロップされていません(いくつかは意図的です;一部は私たちのDBに例がなかったためだけです):

  • publicスキーマ(その中に拡張子が提供するもののためなど)
  • 照合およびその他のロケール関連
  • イベントトリガー
  • テキスト検索のもの、…(私が見逃したかもしれない他のものについてはこちらをご覧ください)
  • ロールまたはその他のセキュリティ設定
  • 複合型
  • トーストテーブル
  • FDWと外部テーブル

これは本当にあなたが復元するダンプが異なるデータベース・スキーマのバージョン(例えばDebianのとである場合の例に役立つdbconfig-commonあなたにそれを復元するデータベースより、フライウェイまたはLiquiBaseを/ DB-Manul)。

誰かが興味を持っている場合に備えて、「2つのテーブルとそれらに属するものを除くすべて」(手動でテストされた、申し訳ありませんが、退屈なシーケンス)を削除するバージョンもあります。差分は小さいです。私に連絡するか、興味があればこのリポジトリを確認してください

SQL

-- Copyright © 2019, 2020
--      mirabilos <t.glaser@tarent.de>
--
-- Provided that these terms and disclaimer and all copyright notices
-- are retained or reproduced in an accompanying document, permission
-- is granted to deal in this work without restriction, including un‐
-- limited rights to use, publicly perform, distribute, sell, modify,
-- merge, give away, or sublicence.
--
-- This work is provided “AS IS” and WITHOUT WARRANTY of any kind, to
-- the utmost extent permitted by applicable law, neither express nor
-- implied; without malicious intent or gross negligence. In no event
-- may a licensor, author or contributor be held liable for indirect,
-- direct, other damage, loss, or other issues arising in any way out
-- of dealing in the work, even if advised of the possibility of such
-- damage or existence of a defect, except proven that it results out
-- of said person’s immediate fault when using the work as intended.
-- -
-- Drop everything from the PostgreSQL database.

DO $$
DECLARE
        q TEXT;
        r RECORD;
BEGIN
        -- triggers
        FOR r IN (SELECT pns.nspname, pc.relname, pt.tgname
                FROM pg_catalog.pg_trigger pt, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pt.tgrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pt.tgisinternal=false
            ) LOOP
                EXECUTE format('DROP TRIGGER %I ON %I.%I;',
                    r.tgname, r.nspname, r.relname);
        END LOOP;
        -- constraints #1: foreign key
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype='f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- constraints #2: the rest
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype<>'f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- indicēs
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='i'
            ) LOOP
                EXECUTE format('DROP INDEX %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- normal and materialised views
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind IN ('v', 'm')
            ) LOOP
                EXECUTE format('DROP VIEW %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- tables
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='r'
            ) LOOP
                EXECUTE format('DROP TABLE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- sequences
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='S'
            ) LOOP
                EXECUTE format('DROP SEQUENCE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- extensions (only if necessary; keep them normally)
        FOR r IN (SELECT pns.nspname, pe.extname
                FROM pg_catalog.pg_extension pe, pg_catalog.pg_namespace pns
                WHERE pns.oid=pe.extnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
            ) LOOP
                EXECUTE format('DROP EXTENSION %I;', r.extname);
        END LOOP;
        -- aggregate functions first (because they depend on other functions)
        FOR r IN (SELECT pns.nspname, pp.proname, pp.oid
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns, pg_catalog.pg_aggregate pagg
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pagg.aggfnoid=pp.oid
            ) LOOP
                EXECUTE format('DROP AGGREGATE %I.%I(%s);',
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- routines (functions, aggregate functions, procedures, window functions)
        IF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='prokind' -- PostgreSQL 11+
            ) THEN
                q := 'CASE pp.prokind
                        WHEN ''p'' THEN ''PROCEDURE''
                        WHEN ''a'' THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSIF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='proisagg' -- PostgreSQL ≤10
            ) THEN
                q := 'CASE pp.proisagg
                        WHEN true THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSE
                q := '''FUNCTION''';
        END IF;
        FOR r IN EXECUTE 'SELECT pns.nspname, pp.proname, pp.oid, ' || q || ' AS pt
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN (''information_schema'', ''pg_catalog'', ''pg_toast'')
            ' LOOP
                EXECUTE format('DROP %s %I.%I(%s);', r.pt,
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- nōn-default schemata we own; assume to be run by a not-superuser
        FOR r IN (SELECT pns.nspname
                FROM pg_catalog.pg_namespace pns, pg_catalog.pg_roles pr
                WHERE pr.oid=pns.nspowner
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast', 'public')
                    AND pr.rolname=current_user
            ) LOOP
                EXECUTE format('DROP SCHEMA %I;', r.nspname);
        END LOOP;
        -- voilà
        RAISE NOTICE 'Database cleared!';
END; $$;

PostgreSQL 9.6()で(ClémentPrévostextensionsによって提供された)後の追加を除いて、テスト済み。9.6と12.2で集計の削除をテストし、12.2でも手順の削除をテストしました。バグ修正とさらなる改善を歓迎します!jessie-backports


完璧です、これが拡張機能のコードです。関数/プロシージャの前に配置する必要があります。 .nspname NOT IN( 'information_schema'、 'pg_catalog'、 'pg_toast'))LOOP EXECUTE format( 'DROP EXTENSION%I;'、r.extname); ループ終了;
クレメントプレヴォ

@ClémentPrévostよろしくお願いします。コメントをコードにマージしました(私が正しく行ったことを願って、コメントに書式が不足していることを確認してください。確認してください)。私は通常、拡張機能を意図的に削除せずに残します(私のユースケースは、異なるスキーマバージョンのバックアップからの復元であり、通常は1つの拡張機能、PL / pgSQLをロードしています)。一部の人にとっては役立つかもしれませんが、ありがとうございます!
mirabilos

パーフェクト、ありがとう:)
クレメントプレヴォ
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.