Postgres:bashスクリプトから再作成/再入力する前にデータベース全体をクリアします


139

私はシェルスクリプト(cronジョブになる)を書いています。

1:本番データベースをダンプする

2:ダンプを開発データベースにインポートする

手順1と2の間で、開発データベースをクリアする必要があります(すべてのテーブルを削除しますか?)。シェルスクリプトからこれをどのように行うのが最善ですか?これまでのところ、次のようになります。

#!/bin/bash
time=`date '+%Y'-'%m'-'%d'`
# 1. export(dump) the current production database
pg_dump -U production_db_name > /backup/dir/backup-${time}.sql

# missing step: drop all tables from development database so it can be re-populated

# 2. load the backup into the development database
psql -U development_db_name < backup/dir/backup-${time}.sql

3
急いでいる人のためのワンライナー:dbname='db_name' && dropdb $dbname && createdb $dbname && psql -d $dbname -f dump.sql
ruuter '28

このonelinerには、データベースを作成/削除する権限が必要です。著者が試みているアプローチは特別な権限を必要としません。
ribamar 2017

回答:


188

データベースを削除してから再作成します。UNIXまたはLinuxシステムでは、次のようにする必要があります。

$ dropdb development_db_name
$ createdb developmnent_db_name

それが実際のやり方です。


これも私のやり方です。次に、新しく作成したdbに復元します。
Arthur Thomas

3
うん。復元しているダンプの一部ではないオブジェクトが存在する可能性があるため、これはより良い方法です。この場合、彼らは間違いなく殺されます。
スタントン、

7
時間を節約する1つのトリックは、$ sudo -u postgres dropdb DATABASE_NAME
Alvin

36
しかし...データベースの権限と所有権はどうですか?
Emanuele Paolini

6
@EmanuelePaolini createdb --owner=db_owner [--template=template0 --encoding=UTF8] db_name私はデフォルトで最後の2つをすべてのデータベースに追加します
mcalex '26

91

プレーンテキストの.sqlスクリプトファイル形式でディスクにダンプされたデータベースのバックアップが実際に必要ない場合は、接続pg_dumpしてpg_restore、パイプを介して直接。

テーブルを削除して再作成するには、--clean次のコマンドラインオプションを使用できます。pg_dump SQLコマンドを発行し、データベースオブジェクトを(作成するための)コマンドを作成する前にクリーンアップ(削除)できます。(これは、データベース全体を削除するのではなく、テーブル/シーケンス/インデックスなどを再作成する前に削除します。)

上記の2つは次のようになります。

pg_dump -U username --clean | pg_restore -U username

1
私はこのソリューションが好きです。私はバックアップコピーが必要なので、今これを行っています。pg_dump -Ft -U production_db_name> /backup/dir/backup-${time}.tar pg_restore -U development_db_name -d development_db_name -O- -clean /backup/dir/backup-${time}.tarはご協力いただきありがとうございます。
Hoff

38
注意:--cleanオプションは、復元ファイルで見つかった関係のみを削除します。これは、テスト用にテーブルを追加した後、それを削除したい場合(たとえば、実動DBと同期する場合)は削除されないことを意味します。
ianaré

6
pg_dumpの--cleanオプションはプレーンテキストのバックアップでのみ機能することを覚えておくことが重要です。ドキュメントにpostgresql.org/docs/9.4/static/app-pgdump.htmlと明記されているので、アーカイブされたバックアップにはpg_restoreで--cleanを使用する必要があります。
Kikin-Sama 2015

6
「--clean」オプションにカスケードを含める方法はありますか?このオプションは役に立たないようです。「エラー:他のオブジェクトがスキーマに依存しているため、スキーマパブリックを削除できません」というメッセージが100%使用されています。
user4674453 2017年

すべてのテーブルの削除について質問されました。これはpg_dumpがダンプしているデータベースで見つかったテーブルのみを削除します。
jbg

13

次の行はWindowsバッチスクリプトから取られていますが、コマンドは非常によく似ています。

psql -U username -h localhost -d postgres -c "DROP DATABASE \"$DATABASE\";"

このコマンドは、実際にデータベースを削除して、データベース全体をクリアするために使用されます。コマンドの$DATABASE(Windowsでは%DATABASE%)は、データベース名として評価されるWindowsスタイルの環境変数です。あなたはそれをあなたので置き換える必要がありますdevelopment_db_name


4
なぜすでに利用可能使用しないdropdbと、createdbコマンド?psqlを実行できる場合は、それらも実行できます。
マイク 'Pomax'カマーマンズ2017

10

を投げ捨てます:

pg_dump -Fc mydb > db.dump

復元するには:

pg_restore --verbose --clean --no-acl --no-owner -h localhost -U myuser -d my_db db/latest.dump

7

「example_db」という名前のデータベースをクリーンアップする場合:

1)別のdbにログインします(例えば 'postgres'):

psql postgres

2)データベースを削除します。

DROP DATABASE example_db;

3)データベースを再作成します。

CREATE DATABASE example_db;

6

私は使用しました:

pg_restore -c -d database_name filename.dump

4

注:私の答えは、テーブルと他のデータベースオブジェクトを本当に削除することです。Endre Bothは、テーブルすべてのデータ削除する(つまりすべてのテーブルを切り捨てる)ために、1か月後に同様に実行された(直接実行)ステートメントを提供しています。

あなただけのことができない場合のためにDROP SCHEMA public CASCADE;DROP OWNED BY current_user;ここにトランザクションセーフ(あなたが間にそれを置くことができる、すなわち私が書いたスタンドアロンのSQLスクリプト、または何かBEGIN;のいずれかROLLBACK;単なるテストに出たりCOMMIT;して、実際に行為を行います) 「すべての」データベースオブジェクトをクリーンアップします。まあ、アプリケーションが使用するデータベースで使用されているもの、または私が賢明に追加できるものはすべて次のとおりです。

  • テーブルのトリガー
  • テーブル上の制約(FK、PK、 、)CHECKUNIQUE
  • 指標
  • VIEWs(通常または具体化)
  • テーブル
  • シーケンス
  • ルーチン(集計関数、関数、プロシージャ)
  • すべてn-n-default(つまりpublic、DB内部ではない)スキーマ「私たち」が所有:スクリプトは、「データベーススーパーユーザーではない」として実行する場合に役立ちます。スーパーユーザーはすべてをドロップできますスキーマ(ただし、本当に重要なスキーマはまだ明示的に除外されています)。
  • 拡張機能(ユーザーから提供されたものですが、通常は意図的に残します)

ドロップされていません(いくつかは意図的です;一部は私たちのDBに例がなかったためだけです):

  • publicスキーマ(その中に拡張子が提供するもののためなど)
  • 照合およびその他のロケール関連
  • イベントトリガー
  • テキスト検索のもの、…(私が見逃したかもしれない他のものについてはこちらをご覧ください)
  • ロールまたはその他のセキュリティ設定
  • 複合型
  • トーストテーブル
  • FDWと外部テーブル

これは本当にあなたが復元するダンプが異なるデータベース・スキーマのバージョン(例えばDebianのとである場合の例に役立つdbconfig-commonあなたにそれを復元するデータベースより、フライウェイまたはLiquiBaseを/ DB-Manul)。

また、誰かが興味を持っている場合に備えて、「2つのテーブルとそれらに属するものを除くすべて」(シーケンス、手動でテスト、申し訳ありませんが、退屈)を削除するバージョンも用意しています。差分は小さいです。私に連絡するか、このリポジトリを確認してくださいか、興味があれば。

SQL

-- Copyright © 2019, 2020
--      mirabilos <t.glaser@tarent.de>
--
-- Provided that these terms and disclaimer and all copyright notices
-- are retained or reproduced in an accompanying document, permission
-- is granted to deal in this work without restriction, including un‐
-- limited rights to use, publicly perform, distribute, sell, modify,
-- merge, give away, or sublicence.
--
-- This work is provided “AS IS” and WITHOUT WARRANTY of any kind, to
-- the utmost extent permitted by applicable law, neither express nor
-- implied; without malicious intent or gross negligence. In no event
-- may a licensor, author or contributor be held liable for indirect,
-- direct, other damage, loss, or other issues arising in any way out
-- of dealing in the work, even if advised of the possibility of such
-- damage or existence of a defect, except proven that it results out
-- of said person’s immediate fault when using the work as intended.
-- -
-- Drop everything from the PostgreSQL database.

DO $$
DECLARE
        q TEXT;
        r RECORD;
BEGIN
        -- triggers
        FOR r IN (SELECT pns.nspname, pc.relname, pt.tgname
                FROM pg_catalog.pg_trigger pt, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pt.tgrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pt.tgisinternal=false
            ) LOOP
                EXECUTE format('DROP TRIGGER %I ON %I.%I;',
                    r.tgname, r.nspname, r.relname);
        END LOOP;
        -- constraints #1: foreign key
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype='f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- constraints #2: the rest
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype<>'f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- indicēs
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='i'
            ) LOOP
                EXECUTE format('DROP INDEX %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- normal and materialised views
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind IN ('v', 'm')
            ) LOOP
                EXECUTE format('DROP VIEW %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- tables
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='r'
            ) LOOP
                EXECUTE format('DROP TABLE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- sequences
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='S'
            ) LOOP
                EXECUTE format('DROP SEQUENCE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- extensions (only if necessary; keep them normally)
        FOR r IN (SELECT pns.nspname, pe.extname
                FROM pg_catalog.pg_extension pe, pg_catalog.pg_namespace pns
                WHERE pns.oid=pe.extnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
            ) LOOP
                EXECUTE format('DROP EXTENSION %I;', r.extname);
        END LOOP;
        -- aggregate functions first (because they depend on other functions)
        FOR r IN (SELECT pns.nspname, pp.proname, pp.oid
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns, pg_catalog.pg_aggregate pagg
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pagg.aggfnoid=pp.oid
            ) LOOP
                EXECUTE format('DROP AGGREGATE %I.%I(%s);',
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- routines (functions, aggregate functions, procedures, window functions)
        IF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='prokind' -- PostgreSQL 11+
            ) THEN
                q := 'CASE pp.prokind
                        WHEN ''p'' THEN ''PROCEDURE''
                        WHEN ''a'' THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSIF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='proisagg' -- PostgreSQL ≤10
            ) THEN
                q := 'CASE pp.proisagg
                        WHEN true THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSE
                q := '''FUNCTION''';
        END IF;
        FOR r IN EXECUTE 'SELECT pns.nspname, pp.proname, pp.oid, ' || q || ' AS pt
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN (''information_schema'', ''pg_catalog'', ''pg_toast'')
            ' LOOP
                EXECUTE format('DROP %s %I.%I(%s);', r.pt,
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- nōn-default schemata we own; assume to be run by a not-superuser
        FOR r IN (SELECT pns.nspname
                FROM pg_catalog.pg_namespace pns, pg_catalog.pg_roles pr
                WHERE pr.oid=pns.nspowner
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast', 'public')
                    AND pr.rolname=current_user
            ) LOOP
                EXECUTE format('DROP SCHEMA %I;', r.nspname);
        END LOOP;
        -- voilà
        RAISE NOTICE 'Database cleared!';
END; $$;

PostgreSQL 9.6()で(ClémentPrévostextensionsによって提供された)後の追加を除いてテストされています。9.6と12.2で集計の削除をテストし、12.2でも手順の削除をテストしました。バグ修正とさらなる改善を歓迎します!jessie-backports

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.