多数の行を挿入する最速の方法は何ですか？

私はデータベースをステージングテーブルにロードします。このステージングテーブルから、外部キーを解決するために1-2回結合し、この行を最終テーブル（月ごとに1つのパーティションがある）に挿入します。3か月分のデータで約34億行あります。

これらの行をファイナルテーブルにステージングする最速の方法は何ですか？SSISデータフロータスク（ビューをソースとして使用し、高速ロードがアクティブになっている）またはInsert INTO SELECT ....コマンド？データフロータスクを試してみましたが、約5時間で約10億行（サーバー上の8コア/ 192 GB RAM）を得ることができ、非常に遅いと感じました。

1つの一般的なアプローチ：

1. ターゲットテーブルのインデックス/制約を無効化/削除します。
2. INSERT dbo.[Target] WITH (TABLOCKX) SELECT ...
3. もちろん、JNKの功績により、n行のバッチで上記の操作を行うことができます。これにより、トランザクションログへの負担を軽減できます。もちろん、一部のバッチが失敗した場合は、そのバッチから開始するだけです。私はこれについてブログに書いています（削除に関しては同じ基本概念が適用されます）：http : //www.sqlperformance.com/2013/03/io-subsystem/chunk-deletes
4. ターゲットテーブルのインデックス/制約を再度有効化/再作成します（すべての操作に必要でない場合は、それらの一部を延期できます。ベースデータをすぐにオンラインにすることがより重要です）。

パーティションが論理的であるだけでなく物理的である場合、異なるプロセスに異なるパーティションを同時に設定することにより、ある程度の時間を得ることができます（もちろん、これはTABLOCK/を使用できないことを意味しますTABLOCKX）。これは、ソースが重複/ロックなどを伴わずに選択する複数のプロセスにも適しており、操作のその側をさらに遅くすることを前提としています（ヒント：宛先のパーティションスキームに適したソースにクラスター化インデックスを作成します）。

BCP OUT/のBCP INような、もっと原始的なものを考えることもできます。

これを支援するためにSSISにジャンプするかどうかはわかりません。おそらくいくつかの効率がそこにありますが、その努力が節約を正当化することを知りません。

SSISの観点から問題を見ると、これに時間がかかったのは、バッチ処理がなかったからだと思います。これにより、SSISパイプラインを埋める行が多くなりすぎ、結果としてSSISのパフォーマンスが低下する可能性があります。バッチ設定ごとに行を変更し、場合によっては最大挿入コミットサイズを変更する必要があります。これも何を設定するかは、SSISサーバーで使用可能なメモリ量に依存しますか？SQL Serverインスタンスのディスク速度は？これを行う最良の方法はテストです。たとえば、10,000を使用します。これにより、バッチがサーバーに10,000回送信されるため、パイプラインがいっぱいになりすぎず、このプロセスをより速く実行できます。これらの設定は、OLEDB宛先で設定されます。

それが問題である場合は、@ AaronBertrandが提案するように実行する前後にSQL実行タスクを追加し、テーブルのインデックスまたは制約を削除/再追加することもできます。