メモリを使い果たすことなく、多くの挿入を含む大きなスクリプトを実行するにはどうすればよいですか？

質問：

selectステートメントから約45,000の挿入があるスクリプトがあります。実行しようとすると、メモリが不足していることを示すエラーメッセージが表示されます。このスクリプトを実行するにはどうすればよいですか？

コンテキスト：

1. クライアントが使用する別のアプリでアプリを快適に動作させるために、いくつかの新しいデータフィールドが追加されました。
2. 現在のデータ項目をこれらの新しいフィールドの値にマッピングしたデータでいっぱいのクライアントからデータのスプレッドシートを取得しました。
3. ステートメントを挿入するためにスプレッドシートを変換しました。
4. ステートメントの一部のみを実行すると機能しますが、スクリプト全体は機能しません。
5. いいえ。タイプミスはありません。

別の方法がある場合は、このデータをロードする必要がありますので、お気軽に私を責め、知らせてください。

SQL Server 2005の最大バッチサイズは65,536 *ネットワークパケットサイズ（NPS）です。NPSは通常4KBです。256 MBになります。つまり、挿入ステートメントはそれぞれ平均5.8 KBになります。それは正しくないように思えますが、おそらく余分なスペースや異常なものがそこにあるでしょう。

私の最初の提案は、すべてのINSERTステートメントの後に「GO」ステートメントを置くことです。これにより、45,000個のINSERTステートメントの単一バッチが45,000個の個別のバッチに分割されます。これは消化しやすいはずです。これらの挿入の1つが失敗した場合、犯人を見つけるのに苦労するかもしれないことに注意してください。トランザクションで自分自身を保護したい場合があります。エディターに適切な検索と置換（\ r \ nなどの戻り文字を検索して置換できる）またはマクロ機能がある場合は、これらのステートメントをすばやく追加できます。

2番目の提案は、ウィザードを使用してExcelから直接データをインポートすることです。ウィザードは、バックグラウンドで小さなSSISパッケージを作成し、実行します。この問題はありません。

BULK INSERTまたはbcp45,000の挿入ステートメントよりも適切なオプションのようです。

挿入ステートメントに固執する必要がある場合、いくつかのオプションを検討します。

A：トランザクションを使用し、各ステートメントで100または500または1000ステートメントのバッチをラップして、ログおよびバッチへの影響を最小限に抑えます。例えば

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

BEGIN TRANSACTION;
INSERT dbo.table(a, ...) SELECT 1, ...
INSERT dbo.table(a, ...) SELECT 2, ...
...
INSERT dbo.table(a, ...) SELECT 500, ...
COMMIT TRANSACTION;
GO

B：個々の挿入ステートメントの代わりにUNION ALL、一度に100または500ステートメントに使用します。たとえば、

INSERT dbo.table(a, ...)
SELECT 1, ...
UNION ALL SELECT 2, ...
...
UNION ALL SELECT 500, ...
GO

INSERT dbo.table(a, ...)
SELECT 501, ...
UNION ALL SELECT 502, ...
...
UNION ALL SELECT 1000, ...
GO

簡潔にするためにエラー処理を省略しましたが、ポイントは、45,000の個々のステートメントの単一バッチをSQL Serverに送信しようとしないことです。

メモリ不足エラーが発生する理由はわかりませんが、より簡単な方法があります。

スプレッドシートからデータを区切り形式（csvなど）にエクスポートできる場合、SSMSのデータインポートウィザードを使用してデータを挿入できます。

複数のSqlBulkCopyを使用して、一時テーブルを作成します。一時テーブルに新しいデータを挿入し、一時テーブルのデータを既存のデータにマージします。C＃を使用して、実施例SqlBulkCopy.WriteToServerメソッド（データテーブル）を。それが役に立てば幸い

はい、できます。OutOfMemoryの問題を回避するために、BCP（一括コピープログラム）アプローチを試しました。

注：SQL Server 2014で試しました。

BCPでは、最初にソースデータベースデータをbcpファイル（ローカルディレクトリフォルダー内）にエクスポートしてから、そのbcpファイルを宛先データベースにインポートする必要があります。

以下は、ケーキウォークの手順です。

注意：

a）宛先データベースに空のテーブルが存在することを確認します

b）TempドライブがCドライブに存在することを確認します

1. 以下に示すコマンドを使用して、Export_Data.batという名前のbatファイルを作成します。

   bcp.exe [Source_DataBase_Name].[dbo].[TableName] OUT "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   一時停止

2. そのbatファイルを実行します。その結果、bcpファイルがTempフォルダーに生成されます。

3. 次に、次のコマンドを使用して、Import_Data.batという名前の別のbatファイルを作成します。

   bcp.exe [Destination_DataBase_Name].[dbo].[TableName] IN "C:\Temp\TableName.bcp" -S "Computer Name" -U "SQL Server UserName" -P "SQL Server Password" -n -q 

   一時停止

さあ、いくぞ！