从MyBatis Plus saveBatch()方法聊聊批量插入优化技术

后端

2023-03-24 11:18:08

避免 MyBatis Plus saveBatch() 方法的性能陷阱

MyBatis Plus 提供的 saveBatch() 方法是一个强大的工具，可用于快速批量插入数据。但是，如果使用不当，它也可能成为性能瓶颈。了解潜在的陷阱并采取适当的措施至关重要，以避免对数据库性能造成负面影响。

数据量过大

一次性批量插入大量数据会给数据库带来负担，导致性能下降。为避免这种情况，请将批量大小限制在可管理的范围内，通常不超过 1000 条记录。较小的批次允许数据库逐步处理数据，从而减轻服务器负载。

重复数据

saveBatch() 方法不会自动检测或处理重复数据，这可能会导致数据库冲突和错误。为了防止重复，请在批量插入之前使用唯一约束或索引，以确保每个记录在数据库中都是唯一的。

错误数据

类似地，错误或无效数据也会导致批量插入失败。在将数据传递给 saveBatch() 之前，请对其进行验证，以确保符合数据库约束并满足业务逻辑要求。

事务管理

使用正确的事务策略 对于批量插入的性能至关重要。默认情况下，MyBatis Plus 使用 "提交后提交" 策略，这意味着事务直到所有记录成功插入后才提交。如果批量中出现错误，则整个事务将回滚，导致所有插入的操作都失败。

为了提高性能，建议使用 "立即提交" 策略。在这种模式下，每条记录在插入后立即提交到数据库。如果遇到错误，只有受影响的记录才会回滚，而不会影响批次中的其他记录。

代码示例

// 使用立即提交事务策略
entityManager.setFlushMode(FlushModeType.COMMIT);

// 批量插入 1000 条记录
List<MyEntity> entities = new ArrayList<>(1000);
for (int i = 0; i < 1000; i++) {
    entities.add(new MyEntity("Entity " + i));
}
entityManager.saveBatch(entities, 100);

// 批量更新 1000 条记录
List<MyEntity> entities = new ArrayList<>(1000);
for (int i = 0; i < 1000; i++) {
    entities.add(new MyEntity("Entity " + i));
}
entityManager.updateBatch(entities, 100);