没有痛苦，不收获：当MySQL批量插入带来“惊喜”时

后端

2023-05-30 19:42:36

MySQL批量插入优化指南：告别死锁，拥抱效率

批量插入的双面性

在数据库领域，批量插入是一项既常见又至关重要的任务。它可以快速高效地将海量数据导入数据库。但在MySQL的世界里，批量插入却可能是一场“悲剧”，带来意想不到的死锁和效率问题。

揭秘MySQL的加锁机制

理解批量插入带来的挑战，需要从MySQL的加锁机制说起。当执行INSERT语句时，MySQL会对相关的数据行或索引施加锁，以确保数据的完整性。

共享锁(S锁) 允许其他事务同时读取数据，但不允许修改。

排他锁(X锁) 阻止其他事务读取或修改数据，保证数据的唯一性。

唯一索引与死锁隐患

当使用唯一索引进行批量插入时，就可能引发死锁。MySQL会在插入数据时先对唯一索引进行检查，确保数据的唯一性。如果两个事务同时尝试插入具有相同唯一键值的数据，就会发生死锁。

示例：

事务A尝试插入数据(1, 'John Doe')，并对唯一索引(name)施加排他锁。
事务B尝试插入数据(1, 'Jane Smith')，也对唯一索引(name)施加排他锁。
事务A等待事务B释放锁，而事务B等待事务A释放锁，形成死锁。

如何避免死锁

选择合适的唯一索引： 尽量避免在批量插入时使用唯一索引。如果必须使用，可以考虑使用组合索引，或将唯一索引字段移至单独的表中。
批量插入优化： 使用REPLACE INTO或INSERT IGNORE语句，可以避免唯一性检查，提高插入效率。

提升批量插入效率的锦囊妙计

批量插入语句优化：

使用批量插入语法： MySQL提供批量插入的语法，可以一次插入多行数据，提高效率。
减少列数： 在批量插入时，只插入必要的列，减少数据传输量。
使用合适的字符集： 选择合适的字符集，可以减少数据转换的开销。

MySQL配置优化：

调整innodb_flush_log_at_trx_commit参数： 该参数控制事务提交时是否将日志写入磁盘。将其设置为2可以提高批量插入的性能。
调整innodb_buffer_pool_size参数： 该参数控制缓冲池的大小。增大缓冲池可以减少磁盘IO，提高批量插入的性能。
调整innodb_log_file_size参数： 该参数控制日志文件的大小。增大日志文件的大小可以减少日志写入的次数，提高批量插入的性能。

代码示例：

-- 批量插入示例

INSERT INTO table_name (column1, column2, column3) VALUES
(1, 'John Doe', 'New York'),
(2, 'Jane Smith', 'Los Angeles'),
(3, 'Bob Smith', 'Seattle'),
(4, 'Alice Johnson', 'San Francisco'),
(5, 'Tom Brown', 'Dallas');

-- 优化批量插入

-- 使用批量插入语法
INSERT INTO table_name (column1, column2, column3) VALUES
(1, 'John Doe', 'New York'),
(2, 'Jane Smith', 'Los Angeles'),
(3, 'Bob Smith', 'Seattle'),
(4, 'Alice Johnson', 'San Francisco'),
(5, 'Tom Brown', 'Dallas');

-- 减少列数
INSERT INTO table_name (column1, column3) VALUES
(1, 'John Doe'),
(2, 'Jane Smith'),
(3, 'Bob Smith'),
(4, 'Alice Johnson'),
(5, 'Tom Brown');

-- 使用合适的字符集
INSERT INTO table_name (column1, column2, column3) VALUES
(1, 'John Doe', 'New York') COLLATE utf8_general_ci,
(2, 'Jane Smith', 'Los Angeles') COLLATE utf8_general_ci,
(3, 'Bob Smith', 'Seattle') COLLATE utf8_general_ci,
(4, 'Alice Johnson', 'San Francisco') COLLATE utf8_general_ci,
(5, 'Tom Brown', 'Dallas') COLLATE utf8_general_ci;