特定数以上の行を挿入すると、INSERTに5時間以上かかる

テーブルに約1,350,000行未満を挿入する場合、すべて約2分かかりますが、挿入される行数が多い場合、データの挿入に必要な時間は約5時間に増加します。

問題はクエリまたはインデックスに関連していません。すべてが長い間正常に動作しており、クエリ、テーブル、またはインデックスの構造には何も変更されていないためです。

約2週間前に初めて問題が発生し、挿入された行の数が+ -1,350,000を超える日にも繰り返し発生します。たとえば、ある日に挿入された行の数は1,200,000であり、プロセスに2分かかり、他の日に行の数は1,450,000であり、データの挿入に5〜6時間かかります。

インデックスを再構築しようとしましたが、役に立ちませんでした。

私の推測では、実際にブロックされていない場合は、データファイル（またはログファイル）が増加する必要があるしきい値に達しており、構成がこの増加をサポートするように最適化されていないと考えられます。確認しておいて：

1. データファイルの増加率は妥当であり、このトランザクションや他の同時進行に対応できる十分な大きさの固定サイズ（％！ではありません）です。
2. ログファイルについても同じです。
3. ファイルの即時初期化が有効になっています。これは、データファイルの増大を加速するのに役立ちますが、多くの場合、より面倒なログファイルの増大には役立ちません。
4. ループに135万の個別の行を挿入したり、その他すべてを1つの大きなトランザクションとして挿入したりしていません。トランザクションをチャンクに分割するために言うべきことがあります。

これはメモリの問題でしょうか？

この種の動作は、繰り返しアクセスする必要のあるデータのチャンクがメモリに対して大きくなりすぎて、地獄からディスクスラッシュが発生した場合に発生する可能性があります。メモリに対して大きすぎるデータのチャンクをループする必要がある場合、すべてのパスでスワップファイルからすべてが読み取られることになり、その制限を超えてプッシュすると、パフォーマンスが低下する可能性があります。

あなたがしようとしている/それらを小さなバッチに分割することは可能ですか？私が同様の問題に遭遇したとき、それらを5.000で（GOを使用して）グループ化すると、そのようなタスクを完了するのにかかる時間が本当に短縮されました。