Postgresqlで1つのテーブルから別のテーブルに何百万行を効率的にコピーするにはどうすればよいですか？

2つのデータベーステーブルがあります。1つには何億ものレコードが含まれています。それを呼び出しましょうhistory。もう1つは毎日計算されるので、すべてのレコードをhistory1つにコピーします。

私がしたことは実行することでした：

INSERT INTO history SELECT * FROM daily

そして、しばらくの間はうまくいきましたが、レコードの数が増え続けるにつれて徐々に遅くなり始めました。今私はからコピーする必要が約2万レコード持っているdailyとhistory、単一の操作では、それが完全に時間がかかりすぎます。

あるテーブルから別のテーブルにデータをコピーする別のより効率的な方法はありますか？

長期間（数か月間）履歴を保持する予定がある場合は、パーティションオプションを確認することをお勧めします。日や週ごとに1つのパーティションになります。また、履歴テーブルのアクセスパターンにも依存します（日付を越えてデータにアクセスするクエリを実行しますか？多くの集計などを行います）。集計/要約を保存するためのマテリアライズドビューをご覧ください。 http://www.postgresql.org/docs/9.3/static/ddl-partitioning.html http://www.postgresql.org/docs/9.3/static/sql-creatematerializedview.html

csv形式でテーブルをダンプします

COPY table TO '/tmp/table.csv' DELIMITER ',';

大量のデータに対してはるかに効率的なCOPYコマンドを使用します。

COPY table FROM '/tmp/table.csv' DELIMITER ',';

詳細については、http： //www.postgresql.org/docs/current/static/sql-copy.htmlでpostgresのドキュメントを確認してください。

問題はインデックスにありました。historyテーブルには、160Mインデックス付きの列を持っていました。どちらCOPY FROMかを実行するか、INSERT INTO .. SELECT行を挿入するのではなく、インデックスを更新するのに多くの時間がかかりました。インデックスを無効にすると、10秒で3M行をインポートしました。今、私は大きなテーブルのインデックスを再作成するより速い方法を見つける必要があります。

次のように、psqlツールを使用できます。

psql -h ${DAILY_HOST_IP} -p ${PG_PORT} ${DB_NAME} ${USER_NAME} -c "copy daily to stdout " | psql -h ${HISTORY_HOST_IP} -p ${PG_PORT} ${DB_NAME} ${USER_NAME}  -c "copy history from stdin"

また、シェルスクリプトを作成することもできます。

もちろん、これは質問に対する正確な答えではありませんが、historyテーブルにアクセスする必要がない場合は、SQLダンプも生成できます。

pg_dump -h host -p port -w -U user db > dump.sql

次に、ツールを使用しgitて差を計算し、これを効率的に保存できます。

git add dump.sql
git commit -m "temp dump"
git gc --aggressive

データベースのほとんどの部分は毎日変更されないため、これは便利です。毎日コピー全体を保存する代わりに、2日間の差を保存できます。

crontabダンプが毎日処理されるようなジョブを使用できます。