100mmレコードでJOINを使用して更新します。これをより適切に行う方法は？（T-SQL）

実際には、1つのテーブルの1億レコードを更新する必要があります。つまり、列のvarchar値を単にIDに置き換えることでテーブルを正規化します。（「置換」と言いますが、実際にはIDを別の列に書き込んでいます。）

私が達成しようとしているのは、データセットを正規化することです。まだ正規化されていないデータにはインデックスがありません。私の考えは、更新が完了した後、varchar値をtinyint値で置き換える外部キーにインデックスを付けるのを待つ代わりに、生の値にインデックスを構築しないことでした。

UPDATE A
SET A.AutoClassID = B.AutoClassID
FROM AutoDataImportStaging.dbo.Automobile as A
JOIN AutoData.dbo.AutoClass as B on (A.AutoClassName = B.AutoClassName)

バックグラウンド

• サーバー2008 R2でMSSQL 2008 R2を使用
• サーバーには8 GBのRAMがあります
• サーバーには1つのRAID10、7200 RPM SATAがあります（すばらしいですが、本番環境ではこれはデータの読み取りのみを行い、データの書き込みは行いません。さらに、最近のHDの不足により、コストのためにこれが必要になりました）。
• サーバーにはデュアルクアッドコアXeon CPUが搭載されています
• マシンは他に何もしていません（現在は開発専用で、このプロセスのみ）
• 単純なロギングがオン（？-しかし、ロールバックできるようにログを記録しますか？）
• クエリは2つの異なるDBを参照することに注意してください。
• 更新されるテーブルのレコードの「幅」は455バイトです

実行中のリソース

• 物理RAMがいっぱいです
• ディスクI / Oが最大になりました
• CPUはほとんど何もしていません（チョークポイントはI / Oです）
• 実行時間は14時間で、カウントされています！

正規化の更新後に列（AutoClassName）を削除する場合でも、生データのインデックスが必要になるなど、いくつかのことが疑われます。また、JOINを開始するときにばかげて見えたJOINではなく、一度に1レコードずつテーブルをループダウンする必要があるのか​​どうかも疑問に思っていましたが、今はもっと高速だったようです。

残りの正規化更新（これと同様）の方法をより迅速に変更するにはどうすればよいですか？

これを単一の（非常に大きな）トランザクションとして実行しようとしています。代わりに、更新を小さいバッチで実行します。

• SET ROWCOUNT。ただし、これは2012年に廃止されることに注意してください。
• トップを更新

また、次のメリットもあります。

• AutoData.dbo.AutoClass.AutoClassNameの一時インデックス
• より多くのRAM。より多くのRAM。

私は別のアプローチを取るでしょう。

既存のテーブルを更新する代わりに、必要なものを含む新しいテーブルを作成するだけです。

これはほぼ確実に速くなります：

SELECT DISTINCT
    AutoClassID,
    <Other fields>
INTO
    AutoDataImportStaging.dbo.Automobile
FROM
    AutoData.dbo.AutoClass

現在書かれているように、多くの論理演算が行われています：

• A.AutoClassNameのすべての値を読み取る
• B.AutoClassNameのすべての値を読み取る
• AとBの値を比較する
• 一致するセットのうち、B.AutoClassIDのすべての値を読み取ります
• 存在するインデックスを介して、A.AutoClassIdの既存の値をB.AutoClassId値に更新します。

一度に1行ずつテーブルをループすると、速くなりません。

疑いがあり、あなたが確認したとおり、これはI / Oバウンドになります。1つのディスクを使用すると、読み取り、書き込み、トランザクションログ、および（任意の）一時作業スペースがすべて同じI / Oで競合します。

単純な回復でもトランザクションは記録されますが、ログはチェックポイントによってクリアされます。初期ログサイズと自動拡張設定により、I / Oの速度が低下している可能性があります。トランザクションログは、変更に対応するために拡張する必要があります。

AutoClassNameフィールドのインデックスを作成しましたか？AutoClass値はいくつありますか？

I / Oの制限に基づいて、更新をバッチ処理する必要がある場合があります。したがって、100万を更新し、チェックポイントを繰り返します。

結合フィールドのインデックスを作成します。

終了したらいつでもインデックスを削除できます。

インデックスが更新のパフォーマンスを大幅に改善しなかったとしたら、私は非常に驚きます。

希望どおりにエクスポートし、新しいテーブルを作成してインポートします。ボーナスとして、奇跡が起こった場合に備えて、バックアップとしてデータのコピーを作成できます。