返回

如何高效从包含大量行的 CSV 文件导入数据到 MySQL？

mysql

从包含大量行的 CSV 文件导入数据到 MySQL

引言

随着大数据在各个领域的日益普及，从大量 CSV（逗号分隔值）文件导入数据到 MySQL 数据库已成为一项关键的任务。然而，当 CSV 文件超过 100,000 行时，传统方法可能会遇到内存限制或超时等问题。本文将探讨两种导入大量 CSV 数据的有效方法，并分析它们的优缺点。

逐行查询方法

逐行查询涉及将 CSV 文件解析为 JSON，然后逐行将数据插入 MySQL 中。这种方法允许对插入过程进行更精细的控制，并且可以应用数据验证。但是，对于包含大量行的 CSV 文件，逐行查询可能很慢，而且容易因内存限制或数据库连接超时而失败。

LOAD DATA INFILE 方法

LOAD DATA INFILE 是一种高效的 MySQL 命令，允许直接从文件导入数据，绕过了逐行插入的限制。这种方法提供了更快的导入速度，但需要将 CSV 文件存储在 MySQL 服务器的指定目录中。对于远程托管的应用程序或受限的文件系统访问，这可能存在问题。

解决 LOAD DATA INFILE 限制

为了解决 LOAD DATA INFILE 方法的限制，可以考虑以下解决方法：

  • 使用临时表： 将 CSV 文件导入到一个临时表中，然后使用 INSERT ... SELECT 语句将数据从临时表插入到目标表中。
  • 使用外部数据源： 将 CSV 文件作为外部数据源连接到 MySQL，然后使用 SELECT ... FROM 语句查询数据。
  • 使用第三方工具： 诸如 MySQL Workbench 或 Navicat Premium 等第三方工具提供了更方便的导入界面，无需将文件存储在 MySQL 服务器上。

选择方法

选择哪种方法从包含大量行的 CSV 文件导入数据取决于具体应用程序的要求和限制。逐行查询方法提供了更多控制，但效率较低。LOAD DATA INFILE 方法效率更高，但需要将文件存储在 MySQL 服务器上。通过采用解决方法，例如临时表或外部数据源，可以灵活使用 LOAD DATA INFILE 方法来高效导入数据。

常见问题解答

1. 如何提高逐行查询导入的速度？

  • 将 CSV 文件拆分成更小的块，逐块导入。
  • 使用线程或多进程并行导入。
  • 优化插入语句以减少数据库开销。

2. 如何避免 LOAD DATA INFILE 期间的内存限制？

  • 使用 LOAD DATA LOCAL INFILE 将文件从本地导入。
  • 适当调整 MySQL 配置中的 innodb_buffer_pool_size 和 query_cache_size 参数。

3. 如何处理有重复行的 CSV 文件？

  • 使用 IGNORE 忽略重复行。
  • 使用 REPLACE 关键字替换现有行。
  • 使用 ON DUPLICATE KEY UPDATE 更新现有行的值。

4. 如何验证从 CSV 文件导入的数据？

  • 在导入之前使用数据验证工具验证文件格式。
  • 使用 MySQL 的 CHECKSUM TABLE 命令验证导入后的数据完整性。
  • 与原始数据源进行比较以进行交叉验证。

5. 如何从受限的文件系统访问远程 CSV 文件？

  • 使用 SSH 或 SCP 工具将文件传输到 MySQL 服务器。
  • 使用第三方工具，例如 MySQL Workbench，它允许从远程位置导入文件。