打破2000w行单表魔咒，掘发MySQL大数据内涵

后端

2023-08-17 14:45:10

MySQL 单表行数限制：2000 万的鸿沟

单表行数过载的代价

当 MySQL 中单表的行数不断攀升，数据库的性能会显著下降，查询速度首当其冲。这背后有几个关键因素：

1. 索引效率下降 ：索引是 MySQL 快速定位数据的利器，但当单表行数过多时，索引的效率会大幅下降。原因是索引本身也需要占用空间，随着数据量的增加，索引也会变得异常庞大，从而导致索引查找的效率降低。

2. 数据页分裂 ：随着数据量的不断增加，单表的数据页也会随之增多。当数据页达到一定数量时，MySQL 会将其分裂成更小的数据页。这个过程虽然可以保持数据页的管理效率，但也会带来额外的开销，从而影响查询性能。

3. 锁竞争加剧 ：当对单表进行并发写入操作时，MySQL 会对涉及到的数据页进行加锁。然而，当单表行数过多时，涉及到的数据页数量也会随之增加，从而导致锁竞争更加激烈。这不仅会降低写入性能，还会影响到其他并发操作的执行效率。

2000 万：一个经验值，而非绝对限制

2000 万行只是一个经验值，而不是 MySQL 单表行数的绝对上限。对于不同的应用场景和不同的数据结构，2000 万行的限制可能会有所不同。

然而，不可否认的是，当单表行数接近或超过 2000 万时，性能下降的风险确实会显著增加。因此，在实际应用中，当单表行数达到一定规模时，就需要考虑对数据进行拆分或迁移，以避免性能问题的发生。

数据拆分与迁移：突破行数限制

数据拆分与迁移是应对单表行数过大的常用策略。

1. 数据拆分

数据拆分是指将单表中的数据按照一定规则拆分成多个更小的表。这样做的目的是为了减少单表的数据量，从而提高查询性能。数据拆分的方式有很多，常用的有水平拆分和垂直拆分。

2. 数据迁移

数据迁移是指将单表中的数据迁移到另一个数据库或另一个表中。这样做的目的是为了将数据分散到不同的数据库或表中，从而降低单表的数据量和提升性能。数据迁移的方式有很多，常用的有物理迁移和逻辑迁移。

代码示例：使用 MySQL 进行数据拆分

-- 创建一个新的表
CREATE TABLE new_table (
  id INT NOT NULL AUTO_INCREMENT,
  name VARCHAR(255) NOT NULL,
  age INT NOT NULL,
  PRIMARY KEY (id)
);

-- 将数据从旧表插入到新表
INSERT INTO new_table (name, age)
SELECT name, age
FROM old_table
WHERE id < 1000000;

-- 删除旧表中的数据
DELETE FROM old_table
WHERE id < 1000000;