如何在 Laravel 中优化批量数据上传，提高性能？

mysql

2024-03-03 18:56:28

如何在 Laravel 中优化批量数据上传速度

问题：

批量上传数据是一个普遍的挑战，尤其是在处理大量数据时。在 Laravel 应用程序中，需要优化批量数据上传过程以缩短插入时间并提高整体性能。

解决方法：

1. 调整 FastExcel 配置：

调整 chunk 选项以将数据分成更小的块。
启用 concurrent 选项以并行导入数据。

2. 使用数据库事务：

将所有导入操作包装在数据库事务中以提高效率和数据完整性。

3. 优化查询：

使用批量插入或更新查询来提高效率，而不是对每个数据行执行单独的查询。

4. 启用队列：

将导入任务队列化以释放 Web 服务器负载，从而提高响应能力。

5. 优化文件格式：

考虑使用更快的文件格式，例如 CSV 或 JSON，来加快解析和导入速度。

实现：

// 调整 FastExcel 配置
$data = (new FastExcel)->import($file, [
    'chunk' => 5000,
    'concurrent' => true,
]);

// 使用数据库事务
DB::beginTransaction();

try {
    // 导入数据
    foreach ($data as $row) {
        $report = SbiMainUpsReport::create($row);
        $report->save();
    }

    DB::commit();
} catch (\Exception $e) {
    DB::rollback();
}

// 优化查询
$query = DB::table('sbi_main_ups_reports')->insert($data);
$query->execute();

// 启用队列
dispatch(function () {
    // 导入数据
    foreach ($data as $row) {
        $report = SbiMainUpsReport::create($row);
        $report->save();
    }
});