挿入、PostgreSQLの重複更新時？

数か月前に、次の構文を使用してMySQLで複数の更新を一度に実行する方法をStack Overflowの回答から学びました。

INSERT INTO table (id, field, field2) VALUES (1, A, X), (2, B, Y), (3, C, Z)
ON DUPLICATE KEY UPDATE field=VALUES(Col1), field2=VALUES(Col2);

これでPostgreSQLに切り替えましたが、明らかにこれは正しくありません。それはすべての正しいテーブルを参照しているので、使用されているさまざまなキーワードの問題であると思いますが、PostgreSQLのドキュメントのどこでこれがカバーされているのかわかりません。

明確にするために、いくつかのものを挿入し、それらがすでに存在する場合はそれらを更新します。

バージョン9.5以降のPostgreSQLには、ON CONFLICT句を使用したUPSERT構文があります。次の構文を使用（MySQLに類似）

INSERT INTO the_table (id, column_1, column_2) 
VALUES (1, 'A', 'X'), (2, 'B', 'Y'), (3, 'C', 'Z')
ON CONFLICT (id) DO UPDATE 
  SET column_1 = excluded.column_1, 
      column_2 = excluded.column_2;

postgresqlのメールグループアーカイブで「upsert」を検索すると、マニュアルで、実行したいことの例が見つかります。

例38-2。UPDATE / INSERTの例外

この例では、例外処理を使用して、必要に応じてUPDATEまたはINSERTを実行します。

CREATE TABLE db (a INT PRIMARY KEY, b TEXT);

CREATE FUNCTION merge_db(key INT, data TEXT) RETURNS VOID AS
$$
BEGIN
    LOOP
        -- first try to update the key
        -- note that "a" must be unique
        UPDATE db SET b = data WHERE a = key;
        IF found THEN
            RETURN;
        END IF;
        -- not there, so try to insert the key
        -- if someone else inserts the same key concurrently,
        -- we could get a unique-key failure
        BEGIN
            INSERT INTO db(a,b) VALUES (key, data);
            RETURN;
        EXCEPTION WHEN unique_violation THEN
            -- do nothing, and loop to try the UPDATE again
        END;
    END LOOP;
END;
$$
LANGUAGE plpgsql;

SELECT merge_db(1, 'david');
SELECT merge_db(1, 'dennis');

ハッカーのメーリングリストに、9.1以上でCTEを使用してこれを一括で行う方法の例がある可能性があります。

WITH foos AS (SELECT (UNNEST(%foo[])).*)
updated as (UPDATE foo SET foo.a = foos.a ... RETURNING foo.id)
INSERT INTO foo SELECT foos.* FROM foos LEFT JOIN updated USING(id)
WHERE updated.id IS NULL;

より明確な例については、a_horse_with_no_nameの回答を参照してください。

警告：複数のセッションから同時に実行された場合、これは安全ではありません（以下の警告を参照）。

postgresqlで「UPSERT」を実行するもう1つの賢い方法は、成功するか効果がないようにそれぞれ設計された2つの順次UPDATE / INSERTステートメントを実行することです。

UPDATE table SET field='C', field2='Z' WHERE id=3;
INSERT INTO table (id, field, field2)
       SELECT 3, 'C', 'Z'
       WHERE NOT EXISTS (SELECT 1 FROM table WHERE id=3);

「id = 3」の行がすでに存在する場合、UPDATEは成功します。それ以外の場合は、効果がありません。

INSERTは、「id = 3」の行がまだ存在しない場合にのみ成功します。

これら2つを1つの文字列に結合し、アプリケーションから1つのSQLステートメントを実行して両方を実行できます。これらを1つのトランザクションで一緒に実行することを強くお勧めします。

これは単独で、またはロックされたテーブルで実行すると非常にうまく機能しますが、行が同時に挿入されると重複キーエラーで失敗するか、行が同時に削除されると行が挿入されずに終了する可能性があるという競合状態の影響を受けます。SERIALIZABLEPostgreSQLの9.1以上の取引では、多くのことを再試行する必要がありますを意味し、非常に高い直列化の失敗率のコストで確実にそれを処理します。upsertがそれほど複雑である理由を参照してください。このケースでは、このケースについて詳しく説明しています。

このアプローチでもあるで失われたアップデート対象read committedのアプリケーションをチェックしない限り、影響を受けた行数及び検証のいずれかの単離insert、またはupdate影響を受けた行。

PostgreSQL 9.1では、これは書き込み可能なCTE（共通テーブル式）を使用して実現できます。

WITH new_values (id, field1, field2) as (
  values 
     (1, 'A', 'X'),
     (2, 'B', 'Y'),
     (3, 'C', 'Z')

),
upsert as
( 
    update mytable m 
        set field1 = nv.field1,
            field2 = nv.field2
    FROM new_values nv
    WHERE m.id = nv.id
    RETURNING m.*
)
INSERT INTO mytable (id, field1, field2)
SELECT id, field1, field2
FROM new_values
WHERE NOT EXISTS (SELECT 1 
                  FROM upsert up 
                  WHERE up.id = new_values.id)

これらのブログエントリを参照してください：

• 書き込み可能なCTEによる更新
• 9.1を待機しています–書き込み可能なCTE
• なぜUPSERTはそれほど複雑なのですか？

（注）この解決策はないということではないユニークキー違反を防ぐが、それは、失われたアップデートに対して脆弱ではありません。dba.stackexchange.comでCraig Ringerによるフォローアップを
参照してください

PostgreSQL 9.5以降では、を使用できますINSERT ... ON CONFLICT UPDATE。

ドキュメントを参照してください。

MySQL INSERT ... ON DUPLICATE KEY UPDATEは直接に言い換えることができますON CONFLICT UPDATE。どちらもSQL標準の構文ではなく、どちらもデータベース固有の拡張機能です。このために使用されなかったのには十分な理由MERGEがあります。新しい構文が単に楽しみのために作成されたのではありません。（MySQLの構文には、直接採用されなかったという問題もあります）。

例えば与えられた設定：

CREATE TABLE tablename (a integer primary key, b integer, c integer);
INSERT INTO tablename (a, b, c) values (1, 2, 3);

MySQLクエリ：

INSERT INTO tablename (a,b,c) VALUES (1,2,3)
  ON DUPLICATE KEY UPDATE c=c+1;

になる：

INSERT INTO tablename (a, b, c) values (1, 2, 10)
ON CONFLICT (a) DO UPDATE SET c = tablename.c + 1;

違い：

• 一意性チェックに使用する列名（または一意の制約名）を指定する必要があります。それはON CONFLICT (columnname) DO

• SETこれは通常のUPDATEステートメントであるかのように、キーワードを使用する必要があります

また、いくつかの優れた機能があります。

• あなたは持つことができWHERE、あなたの上句をUPDATE（あなたが効果的にターンさせることON CONFLICT UPDATEにON CONFLICT IGNOREある値のために）

• 挿入候補の値はEXCLUDED、ターゲットテーブルと同じ構造を持つrow-variableとして使用できます。テーブル名を使用して、テーブルの元の値を取得できます。したがって、この場合EXCLUDED.cは10（これが挿入しようとしたもので"table".cある3ため）、それがテーブルの現在の値であるためです。SET式とWHERE句のどちらかまたは両方を使用できます。

upsertの背景については、PostgreSQLでUPSERT（MERGE、INSERT ... ON DUPLICATE UPDATE）する方法を参照してください。

私がここに来たときも同じことを探していましたが、汎用の「upsert」関数が足りないので少し気になりました。更新を渡し、SQLをその関数の引数としてマニュアルから挿入できると思いました

これは次のようになります。

CREATE FUNCTION upsert (sql_update TEXT, sql_insert TEXT)
    RETURNS VOID
    LANGUAGE plpgsql
AS $$
BEGIN
    LOOP
        -- first try to update
        EXECUTE sql_update;
        -- check if the row is found
        IF FOUND THEN
            RETURN;
        END IF;
        -- not found so insert the row
        BEGIN
            EXECUTE sql_insert;
            RETURN;
            EXCEPTION WHEN unique_violation THEN
                -- do nothing and loop
        END;
    END LOOP;
END;
$$;

そして、おそらく最初にやりたかったこと、バッチ "upsert"を行うには、Tclを使用してsql_updateを分割し、個々の更新をループします。パフォーマンスヒットは非常に小さくなります。http： //archives.postgresql.org/pgsql-を参照してください。 performance / 2006-04 / msg00557.php

最も高いコストはコードからクエリを実行することであり、データベース側では実行コストがはるかに小さくなります

それを行う簡単なコマンドはありません。

最も正しいアプローチは、docsのような関数を使用することです。

（安全ではありませんが）別の解決策は、戻ることで更新を行い、更新された行を確認し、残りの行を挿入することです

以下に沿ったもの：

update table
set column = x.column
from (values (1,'aa'),(2,'bb'),(3,'cc')) as x (id, column)
where table.id = x.id
returning id;

id：2が返されたと仮定：

insert into table (id, column) values (1, 'aa'), (3, 'cc');

もちろん、ここには明確な競合状態があるため、遅かれ早かれ（並行環境では）救済されますが、通常は機能します。

これは、トピックに関するより長くてより包括的な記事です。

個人的に、私は挿入ステートメントに添付された「ルール」を設定しました。たとえば、顧客ごとのDNSヒットを時間ごとに記録する「dns」テーブルがあるとします。

CREATE TABLE dns (
    "time" timestamp without time zone NOT NULL,
    customer_id integer NOT NULL,
    hits integer
);

更新された値で行を再挿入したり、行がまだ存在しない場合は作成したりしたいと考えていました。customer_idと時間を入力します。このようなもの：

CREATE RULE replace_dns AS 
    ON INSERT TO dns 
    WHERE (EXISTS (SELECT 1 FROM dns WHERE ((dns."time" = new."time") 
            AND (dns.customer_id = new.customer_id)))) 
    DO INSTEAD UPDATE dns 
        SET hits = new.hits 
        WHERE ((dns."time" = new."time") AND (dns.customer_id = new.customer_id));

更新：これは、unique_violation例外を生成するため、同時挿入が発生すると失敗する可能性があります。ただし、終了していないトランザクションは継続して成功するため、終了したトランザクションを繰り返すだけで済みます。

ただし、常に大量の挿入が発生している場合は、挿入ステートメントの前後にテーブルロックを設定することをお勧めします。SHAREROW EXCLUSIVEロックは、ターゲットテーブルの行を挿入、削除、または更新する操作を防止します。ただし、一意のキーを更新しない更新は安全であるため、これを行う操作がない場合は、代わりにアドバイザリロックを使用してください。

また、COPYコマンドはRULESを使用しないため、COPYで挿入する場合は、代わりにトリガーを使用する必要があります。

この関数マージを使用します

CREATE OR REPLACE FUNCTION merge_tabla(key INT, data TEXT)
  RETURNS void AS
$BODY$
BEGIN
    IF EXISTS(SELECT a FROM tabla WHERE a = key)
        THEN
            UPDATE tabla SET b = data WHERE a = key;
        RETURN;
    ELSE
        INSERT INTO tabla(a,b) VALUES (key, data);
        RETURN;
    END IF;
END;
$BODY$
LANGUAGE plpgsql

INSERT AND REPLACEを実行する場合は、上記の「upsert」関数をカスタム化します。

`

 CREATE OR REPLACE FUNCTION upsert(sql_insert text, sql_update text)

 RETURNS void AS
 $BODY$
 BEGIN
    -- first try to insert and after to update. Note : insert has pk and update not...

    EXECUTE sql_insert;
    RETURN;
    EXCEPTION WHEN unique_violation THEN
    EXECUTE sql_update; 
    IF FOUND THEN 
        RETURN; 
    END IF;
 END;
 $BODY$
 LANGUAGE plpgsql VOLATILE
 COST 100;
 ALTER FUNCTION upsert(text, text)
 OWNER TO postgres;`

そして実行した後、次のようなことをしてください：

SELECT upsert($$INSERT INTO ...$$,$$UPDATE... $$)

コンパイラエラーを回避するために、2ドルカンマを付けることが重要です。

• 速度をチェック...

最も好きな答えに似ていますが、少し速く動作します：

WITH upsert AS (UPDATE spider_count SET tally=1 WHERE date='today' RETURNING *)
INSERT INTO spider_count (spider, tally) SELECT 'Googlebot', 1 WHERE NOT EXISTS (SELECT * FROM upsert)

（ソース：http : //www.the-art-of-web.com/sql/upsert/）

アカウントの設定を名前と値のペアとして管理する場合と同じ問題があります。設計基準では、クライアントごとに異なる設定セットを使用できます。

JWPに似た私のソリューションは、一括消去と置換を行い、アプリケーション内でマージレコードを生成することです。

これはかなり弾力性があり、プラットフォームに依存せず、クライアントあたりの設定は約20を超えないため、これは3つのかなり低い負荷のdb呼び出しだけです-おそらく最速の方法です。

個々の行を更新する方法-例外をチェックしてから挿入する方法-またはこれらのいくつかの組み合わせは、（上記のように）非標準のSQL例外処理がdbからdbに変更されるため、またはリリースごとに変更されるため、動作が遅く、多くの場合は中断します。

 #This is pseudo-code - within the application:
 BEGIN TRANSACTION - get transaction lock
 SELECT all current name value pairs where id = $id into a hash record
 create a merge record from the current and update record
  (set intersection where shared keys in new win, and empty values in new are deleted).
 DELETE all name value pairs where id = $id
 COPY/INSERT merged records 
 END TRANSACTION

ステートメントのPostgreSQLドキュメントにINSERTよると、ON DUPLICATE KEY大文字と小文字の処理はサポートされていません。構文のその部分は、独自のMySQL拡張です。

CREATE OR REPLACE FUNCTION save_user(_id integer, _name character varying)
  RETURNS boolean AS
$BODY$
BEGIN
    UPDATE users SET name = _name WHERE id = _id;
    IF FOUND THEN
        RETURN true;
    END IF;
    BEGIN
        INSERT INTO users (id, name) VALUES (_id, _name);
    EXCEPTION WHEN OTHERS THEN
            UPDATE users SET name = _name WHERE id = _id;
        END;
    RETURN TRUE;
END;

$BODY$
  LANGUAGE plpgsql VOLATILE STRICT

小さなセットをマージするには、上記の関数を使用すると問題ありません。ただし、大量のデータをマージする場合は、http：//mbk.projects.postgresql.orgを確認することをお勧めします

私が知っている現在のベストプラクティスは次のとおりです。

1. 新しい/更新されたデータを一時テーブルにコピーします（確かに、コストに問題がない場合はINSERTを実行できます）。
2. ロックの取得（オプション）（テーブルロック、IMOよりも推奨）
3. マージ。（楽しい部分）

UPDATEは変更された行の数を返します。JDBC（Java）を使用している場合は、この値を0に対してチェックし、影響を受けた行がない場合は、代わりにINSERTを起動できます。他のプログラミング言語を使用している場合は、変更された行の数を取得できる可能性があります。ドキュメントを確認してください。

これはエレガントではないかもしれませんが、呼び出しコードから使用するのがより簡単な、はるかに単純なSQLがあります。異なる点として、PL / PSQLで10行のスクリプトを作成する場合、おそらくそれだけのために、何らかの種類の単体テストが必要です。

編集：これは期待どおりに動作しません。受け入れられた回答とは異なり、これは2つのプロセスがupsert_foo同時に同時に呼び出されると、一意のキー違反を生成します。

ユーレカ！私は1つのクエリでそれを行う方法を見つけましたUPDATE ... RETURNING：影響を受ける行があるかどうかをテストするために使用します：

CREATE TABLE foo (k INT PRIMARY KEY, v TEXT);

CREATE FUNCTION update_foo(k INT, v TEXT)
RETURNS SETOF INT AS $$
    UPDATE foo SET v = $2 WHERE k = $1 RETURNING $1
$$ LANGUAGE sql;

CREATE FUNCTION upsert_foo(k INT, v TEXT)
RETURNS VOID AS $$
    INSERT INTO foo
        SELECT $1, $2
        WHERE NOT EXISTS (SELECT update_foo($1, $2))
$$ LANGUAGE sql;

UPDATE、残念ながら、これは構文エラーであるため、別の手順で行う必要があります。

... WHERE NOT EXISTS (UPDATE ...)

これで、期待どおりに動作します。

SELECT upsert_foo(1, 'hi');
SELECT upsert_foo(1, 'bye');
SELECT upsert_foo(3, 'hi');
SELECT upsert_foo(3, 'bye');