SpringBoot-Mybatis批量插入Oracle数据库数据：性能优化实践

后端

2023-10-02 00:57:47

前言

在SpringBoot-Mybatis项目中，我们经常需要将大量数据插入到Oracle数据库中。如果使用传统的逐条插入方式，性能将会非常低下。为了提高插入速度，我们可以使用批量插入的方式。

批量插入原理

批量插入是指将多个数据行一次性插入到数据库中。与逐条插入相比，批量插入具有以下优点：

减少数据库连接次数。逐条插入需要多次建立和断开数据库连接，而批量插入只需要一次连接即可。
减少服务器端处理次数。逐条插入需要服务器端对每条数据进行处理，而批量插入只需要对一批数据进行一次处理。
提高网络传输效率。批量插入可以将多个数据行打包成一个数据包发送到服务器端，而逐条插入需要发送多个数据包。

批量插入实现

SpringBoot-Mybatis中有多种批量插入的方式，最常用的方式是使用Mybatis的insertList方法。insertList方法可以将一个集合中的所有数据行一次性插入到数据库中。

List<CabinData> cabinDataList = new ArrayList<>();
// 填充cabinDataList
int batchSize = 1000;
for (int i = 0; i < cabinDataList.size(); i++) {
    if (i % batchSize == 0) {
        mapper.insertList(cabinDataList);
        cabinDataList.clear();
    }
}
if (!cabinDataList.isEmpty()) {
    mapper.insertList(cabinDataList);
}

性能优化

在实际应用中，我们可以通过以下方式进一步优化批量插入的性能：

使用合适的数据类型。 对于数值型数据，应使用合适的类型，如int、long等。避免使用double或float等类型，因为这些类型在Oracle中会占用更多的存储空间。
使用合适的批量大小。 批量大小是指一次批量插入的数据行数。批量大小应根据具体情况而定。一般来说，批量大小越大，插入速度越快，但同时也会占用更多的内存。
使用索引。 在经常被查询的列上创建索引可以显著提高查询速度。
使用分区表。 对于数据量非常大的表，可以将表分区，然后对每个分区分别进行批量插入。
使用并行插入。 Oracle支持并行插入，可以同时使用多个线程将数据插入到表中。