MySQL批量插入测试数据—开发必备

2023-03-27 09:42:47

用 INSERT INTO 和 LOAD DATA INFILE 轻松实现 MySQL 批量数据插入

在数据库开发中，经常需要向数据库中插入大量数据，以进行性能测试、页面展示或验证知识点。手动输入这些数据不仅费时费力，还容易出错。掌握批量插入测试数据的技巧至关重要。

本文将介绍 MySQL 中两种常用的批量数据插入方法：INSERT INTO 和 LOAD DATA INFILE，并详细解读它们的优缺点，提供示例代码，帮助你轻松上手批量数据插入。

一、INSERT INTO：简单易用

INSERT INTO 是 MySQL 中常用的数据插入语句，它允许一次插入多行数据。它的基本语法如下：

INSERT INTO table_name (column1, column2, ...)
VALUES (value1, value2, ...),
       (value3, value4, ...),
       ...;

比如，以下语句将三行数据插入到名为 "user" 的表中：

INSERT INTO user (name, email, password)
VALUES ('John Doe', 'john.doe@example.com', 'password1'),
       ('Jane Smith', 'jane.smith@example.com', 'password2'),
       ('Michael Jones', 'michael.jones@example.com', 'password3');

二、LOAD DATA INFILE：更高效

LOAD DATA INFILE 是 MySQL 中一种更高效的批量数据插入方法，它允许从本地文件中一次性加载大量数据。它的基本语法如下：

LOAD DATA INFILE 'filename.txt'
INTO TABLE table_name
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';

比如，以下语句将名为 "data.txt" 的文件中的数据加载到名为 "user" 的表中：

LOAD DATA INFILE 'data.txt'
INTO TABLE user
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';

三、方法对比

方法	优点	缺点
INSERT INTO	简单易用，支持数据类型转换	效率较低，不适合大数据量插入
LOAD DATA INFILE	高效，适合大数据量插入	语法复杂，需要指定字段分隔符和行分隔符

四、示例代码

以下是在 Python 中使用 INSERT INTO 和 LOAD DATA INFILE 批量插入数据的示例代码：

# 使用 INSERT INTO 批量插入数据
import mysql.connector

mydb = mysql.connector.connect(
  host="localhost",
  user="username",
  password="password",
  database="mydatabase"
)

mycursor = mydb.cursor()

sql = "INSERT INTO user (name, email, password) VALUES (%s, %s, %s)"
val = [
  ('John Doe', 'john.doe@example.com', 'password1'),
  ('Jane Smith', 'jane.smith@example.com', 'password2'),
  ('Michael Jones', 'michael.jones@example.com', 'password3')
]

mycursor.executemany(sql, val)

mydb.commit()

# 使用 LOAD DATA INFILE 批量插入数据
import mysql.connector

mydb = mysql.connector.connect(
  host="localhost",
  user="username",
  password="password",
  database="mydatabase"
)

mycursor = mydb.cursor()

sql = "LOAD DATA INFILE 'data.txt' INTO TABLE user FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'"

mycursor.execute(sql)

mydb.commit()

五、常见问题解答

如何选择合适的方法？

如果数据量较小，并且需要进行数据类型转换，可以使用 INSERT INTO；如果数据量较大，需要高效插入，可以使用 LOAD DATA INFILE。
如何在 LOAD DATA INFILE 中指定字段分隔符和行分隔符？

使用 FIELDS TERMINATED BY 和 LINES TERMINATED BY 子句，分别指定字段分隔符和行分隔符。
如何优化 INSERT INTO 性能？

使用 bulk insert 语法，一次插入多行数据，并关闭自动提交。
如何优化 LOAD DATA INFILE 性能？

使用高速网络连接，并确保文件中的数据格式与表定义相匹配。
如何避免批量插入错误？

仔细检查数据文件，确保数据有效并与表定义相匹配，并在插入前对数据进行验证。