返回

从零开始，步步剖析：在线变更MySQL千万级表结构

后端

引言

随着业务的发展，数据库中的表结构不可避免地需要进行调整。然而，对于千万级甚至亿级的大表来说，在线变更表结构是一项极具挑战的任务。本文将通过一个真实案例，详细介绍如何在MySQL中在线变更千万级表结构，包括变更的具体步骤、注意事项和遇到的问题，帮助读者掌握在线变更表结构的实战技巧，以确保业务平滑切换。

背景

IM作为社交应用的基础服务，承担着即时聊天、群聊、直播、多人语音等功能。随着应用推广用户量级在不断增加会话关系呈指数级增长，优化会话表迫在眉睫。

挑战

会话表是一个千万级的大表，包含了所有用户之间的聊天记录。表结构如下：

CREATE TABLE `session` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `user_id_1` bigint(20) NOT NULL,
  `user_id_2` bigint(20) NOT NULL,
  `content` text,
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  KEY `user_id_1` (`user_id_1`),
  KEY `user_id_2` (`user_id_2`),
  KEY `create_time` (`create_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

我们需要在表中添加一个新的字段session_type，用于区分不同的会话类型。

解决思路

1. 准备工作

在进行在线变更表结构之前，需要先做好以下准备工作：

  • 备份数据：对现有表进行备份，以防万一变更过程中出现问题。
  • 评估影响：评估变更对现有业务的影响，包括对查询性能、索引性能的影响等。
  • 编写变更脚本：编写在线变更表结构的脚本，包括添加新字段、修改索引等操作。
  • 测试脚本：在测试环境中测试变更脚本，确保其能够正常工作。

2. 在线变更表结构

在线变更表结构的具体步骤如下：

  1. 添加新字段

首先，我们需要在表中添加一个新的字段session_type。可以使用以下语句：

ALTER TABLE `session` ADD COLUMN `session_type` tinyint(4) NOT NULL DEFAULT 0 AFTER `create_time`;
  1. 重建索引

由于添加了新字段，需要重建相关的索引。可以使用以下语句：

ALTER TABLE `session` REBUILD INDEX `user_id_1`;
ALTER TABLE `session` REBUILD INDEX `user_id_2`;
ALTER TABLE `session` REBUILD INDEX `create_time`;
  1. 数据迁移

接下来，需要将现有数据迁移到新表中。可以使用以下语句：

INSERT INTO `session_new` (`id`, `user_id_1`, `user_id_2`, `content`, `create_time`, `session_type`)
SELECT `id`, `user_id_1`, `user_id_2`, `content`, `create_time`, 0
FROM `session`;
  1. 切换表名

数据迁移完成后，需要切换表名，将新表名改为原表名，原表名改为新表名。可以使用以下语句：

RENAME TABLE `session` TO `session_old`;
RENAME TABLE `session_new` TO `session`;
  1. 清理旧表

最后，可以清理旧表，以释放磁盘空间。可以使用以下语句：

DROP TABLE `session_old`;

3. 注意点

在进行在线变更表结构时，需要注意以下几点：

  • 业务兼容 ：在线变更表结构期间，要保证业务的正常运行。可以使用双写的方式，先将数据写入新表，再从新表中读取数据。
  • 业务平滑切换 ：在切换表名时，要确保业务能够平滑切换到新表。可以使用影子表的方式，先将新表作为影子表，在业务稳定后，再将影子表切换为主表。
  • 性能优化 ：在线变更表结构可能会对数据库性能造成影响。需要对数据库进行性能优化，以减少变更对性能的影响。

遇到的问题

在进行在线变更表结构时，我们遇到了以下问题：

  • 索引重建慢 ：由于会话表是一个千万级的大表，重建索引需要花费很长时间。我们通过使用并行重建索引的方式来解决这个问题。
  • 数据迁移慢 ：由于会话表的数据量很大，数据迁移需要花费很长时间。我们通过使用多线程数据迁移的方式来解决这个问题。
  • 业务兼容问题 ：在业务切换到新表后，出现了一些兼容性问题。我们通过修改业务代码的方式来解决这个问题。

总结

通过上述步骤，我们成功地在线变更了千万级表结构，保证了业务的正常运行。在线变更表结构是一项复杂的