MySQLトランザクションサイズ-大きすぎますか？

頻繁に実行されるインポートプロセスがあり、それを「すべてまたは何もしない」種類の取引、つまりトランザクションにしたいのです。

多くの側面があり、インポートによって100k-1mil +のレコードが生成される場合があります。これは、数MBから数百MBのデータのペイロードに相当します。

私は一時テーブルが別のオプションであることを知っています-しかし、この方法はとても便利なようです。

コミット間で大量のデータ操作を行うこの種のプラクティスに関して注意すべき注意事項はありますか？（コミット後の一般的な書き込み/インデックス作成の負荷バーストの外側）

認識すべきボトルネックの1つは、InnoDBログバッファーです。サイズはinnodb_log_buffer_sizeによって設定されます。これは、MySQLのドキュメントに記載されている内容です。

InnoDBがディスク上のログファイルに書き込むために使用するバッファーのバイト単位のサイズ。デフォルト値は8MBです。大きなログバッファを使用すると、トランザクションをコミットする前にログをディスクに書き込むことなく、大きなトランザクションを実行できます。したがって、大きなトランザクションがある場合、ログバッファを大きくするとディスクI / Oが節約されます。

InnoDBログバッファーをInnoDBバッファープールと混同しないでください。それらの主な違いは目的です。InnoDBログバッファーは、基本的に、REDOログ（ib_logfile0、ib_logfile1）に書き込まれる短期的な変更を記録します。InnoDBバッファープール（innodb_buffer_pool_sizeでサイズ指定）は、データ（ページがダーティの場合）およびディスクにコミットされるインデックスページをキャッシュします。コミットされた変更ページは、LRUルールを介して削除されるまでRAMに残ります。

大きなトランザクションは、ログバッファーを介して集中する必要があります。前述のように、ログバッファを大きくすると、ディスクI / Oが減少します。大規模なコミットのみがボトルネックになります。

他のInnoDBオプションを調べて設定することをお勧めします。

• innodb_flush_method：これにより、フラッシュの処理方法と、OSがInnoDBへの書き込みをキャッシュできるようにするかどうかが決まります（O_DSYNCとO_DIRECTの間で実験する必要があります）
• innodb_read_io_threads（最大値：64を使用）
• innodb_write_io_threads（最大：64を使用）
• innodb_io_capacity（5000または10000などのより高い値を使用しますが、ハードウェアがそれを補います。つまり、膨大な数を割り当てると、ハードウェアがIO容量を決定します）
• innodb_thread_concurrency：デフォルト値は0です。PerconaNYC 2011のRonald Bradfordから、この数を0のままにしておくことを直接学びました。InnoDB が処理できる並行チケットの最適な数を決定できます）

さらなる研究のためにInnoDBを最適化することに関する他の投稿があります

• InnoDBのデフォルト設定の最適化
• 重いInnoDBワークロードに合わせてMySQLをどのように調整しますか？
• 挿入が多いInnoDBテーブルはすべてのCPUを使用しません
• InnoDB DELETEのパフォーマンスを向上させる方法は？
• MySql-ibdata1をクリーンアップする