ソースがXMLでもTVPでも、大きな違いはありません。全体的な操作は基本的に次のとおりです。
- 既存の行を更新する
- 不足している行を挿入
最初にINSERTすると、すべての行が存在してUPDATEを取得し、挿入されたばかりの行に対して繰り返し作業を行うため、この順序で実行します。
それを超えて、これを達成するためのさまざまな方法と、それからいくつかの追加の効率を調整するさまざまな方法があります。
最小限のことから始めましょう。XMLの抽出は、この操作の中で最も高価な部分の1つである可能性が高いため（最も高価ではないにしても）、2回行う必要はありません（実行する操作が2つあるため）。そこで、一時テーブルを作成して、XMLからデータを抽出します。
CREATE TABLE #TempImport
(
Field1 DataType1,
Field2 DataType2,
...
);
INSERT INTO #TempImport (Field1, Field2, ...)
SELECT tab.col.value('XQueryForField1', 'DataType') AS [Field1],
tab.col.value('XQueryForField2', 'DataType') AS [Field2],
...
FROM @XmlInputParam.nodes('XQuery') tab(col);
そこからUPDATEを実行し、次にINSERTを実行します。
UPDATE tab
SET tab.Field1 = tmp.Field1,
tab.Field2 = tmp.Field2,
...
FROM [SchemaName].[TableName] tab
INNER JOIN #TempImport tmp
ON tmp.IDField = tab.IDField
... -- more fields if PK or alternate key is composite
INSERT INTO [SchemaName].[TableName]
(Field1, Field2, ...)
SELECT tmp.Field1, tmp.Field2, ...
FROM #TempImport tmp
WHERE NOT EXISTS (
SELECT *
FROM [SchemaName].[TableName] tab
WHERE tab.IDField = tmp.IDField
... -- more fields if PK or alternate key is composite
);
基本的な操作が完了したので、最適化するためにいくつかのことができます。
一時テーブルへの挿入の@@ ROWCOUNTをキャプチャし、UPDATEの@@ ROWCOUNTと比較します。それらが同じ場合、INSERTをスキップできます
OUTPUT句を介して更新されたID値をキャプチャし、それらを一時テーブルから削除します。その後、INSERTは必要ありませんWHERE NOT EXISTS(...)
受信データに同期してはならない（つまり、挿入も更新もしない）行がある場合、それらのレコードはUPDATEを実行する前に削除する必要があります。
CREATE TABLE #TempImport
(
Field1 DataType1,
Field2 DataType2,
...
);
DECLARE @ImportRows INT;
DECLARE @UpdatedIDs TABLE ([IDField] INT NOT NULL);
BEGIN TRY
INSERT INTO #TempImport (Field1, Field2, ...)
SELECT tab.col.value('XQueryForField1', 'DataType') AS [Field1],
tab.col.value('XQueryForField2', 'DataType') AS [Field2],
...
FROM @XmlInputParam.nodes('XQuery') tab(col);
SET @ImportRows = @@ROWCOUNT;
IF (@ImportRows = 0)
BEGIN
RAISERROR('Seriously?', 16, 1); -- no rows to import
END;
-- optional: test to see if it helps or hurts
-- ALTER TABLE #TempImport
-- ADD CONSTRAINT [PK_#TempImport]
-- PRIMARY KEY CLUSTERED (PKField ASC)
-- WITH FILLFACTOR = 100;
-- optional: remove any records that should not be synced
DELETE tmp
FROM #TempImport tmp
INNER JOIN [SchemaName].[TableName] tab
ON tab.IDField = tmp.IDField
... -- more fields if PK or alternate key is composite
WHERE tmp.ModifiedDate < tab.ModifiedDate;
BEGIN TRAN;
UPDATE tab
SET tab.Field1 = tmp.Field1,
tab.Field2 = tmp.Field2,
...
OUTPUT INSERTED.IDField
INTO @UpdatedIDs ([IDField]) -- capture IDs that are updated
FROM [SchemaName].[TableName] tab
INNER JOIN #TempImport tmp
ON tmp.IDField = tab.IDField
... -- more fields if PK or alternate key is composite
IF (@@ROWCOUNT < @ImportRows) -- if all rows were updates then skip, else insert remaining
BEGIN
-- get rid of rows that were updates, leaving only the ones to insert
DELETE tmp
FROM #TempImport tmp
INNER JOIN @UpdatedIDs del
ON del.[IDField] = tmp.[IDField];
-- OR, rather than the DELETE, maybe add a column to #TempImport for:
-- [IsUpdate] BIT NOT NULL DEFAULT (0)
-- Then UPDATE #TempImport SET [IsUpdate] = 1 JOIN @UpdatedIDs ON [IDField]
-- Then, in below INSERT, add: WHERE [IsUpdate] = 0
INSERT INTO [SchemaName].[TableName]
(Field1, Field2, ...)
SELECT tmp.Field1, tmp.Field2, ...
FROM #TempImport tmp
END;
COMMIT TRAN;
END TRY
BEGIN CATCH
IF (@@TRANCOUNT > 0)
BEGIN
ROLLBACK;
END;
-- THROW; -- if using SQL 2012 or newer, use this and remove the following 3 lines
DECLARE @ErrorMessage NVARCHAR(4000) = ERROR_MESSAGE();
RAISERROR(@ErrorMessage, 16, 1);
RETURN;
END CATCH;
私はこのモデルを、20kの合計セットのうち100行を超える1000行を超える、またはバッチで500行を超えるインポート/ ETLで数回使用しました。ただし、一時テーブルからの更新された行のDELETEと[IsUpdate]フィールドの更新だけのパフォーマンスの違いはテストしていません。
一度にインポートする行が最大で1000行あるため、XML over TVPを使用する決定について注意してください（質問に記載されています）。
これがあちこちで何度か呼び出されている場合、TVPのマイナーなパフォーマンスの向上は、追加のメンテナンスコストに見合わない可能性があります（ユーザー定義のテーブルタイプを変更する前にプロシージャを削除する必要がある、アプリのコードの変更など）。 。しかし、400万行をインポートし、一度に1000を送信する場合、それは4000の実行（そして、どのように分解しても400万行のXMLを解析する）であり、数回だけ実行したときの小さなパフォーマンスの違いでさえ目立つ違いに追加します。
そうは言っても、私が説明した方法は、SELECT FROM @XmlInputParamをSELECT FROM @TVPに置き換える以外は変わりません。TVPは読み取り専用であるため、TVPから削除することはできません。WHERE NOT EXISTS(SELECT * FROM @UpdateIDs ids WHERE ids.IDField = tmp.IDField)シンプルなの代わりに、最後のSELECT（INSERTに関連付けられた）に単にを追加することができると思いますWHERE IsUpdate = 0。@UpdateIDsこの方法でtable変数を使用すると、受信した行を一時テーブルにダンプしないことで問題を回避できます。