Flink CDC 报错 "The connector is trying to read binlog starting at xxx but this is no longer available" 的解决方案
2023-08-23 12:45:06
处理 Flink CDC 读取 MySQL binlog 报错
导读
在使用 Flink CDC（变更数据捕获）从 MySQL 数据库读取数据时，您可能会遇到以下错误：
The connector is trying to read binlog starting at xxx but this is no longer available. Either increase the binlog retention period or configure the connector to start reading from a timestamp earlier than xxx.
此错误表明 Flink CDC 尝试读取的 binlog 文件已被 MySQL 删除，导致无法继续读取数据。本文将深入探讨导致此错误的原因并提供分步解决方案。
原因分析
- MySQL binlog 保留时间不足： MySQL 定期删除旧的 binlog 文件以节省存储空间。如果 binlog 保留时间太短，Flink CDC 可能会无法及时读取到所需的数据。
- Flink CDC 读账号权限不足： Flink CDC 读账号需要具有读取超过一定时间范围的 binlog 的权限。如果读账号没有此权限，它将无法访问旧的 binlog 文件。
解决方法
方法 1：增加 MySQL binlog 保留时间
修改 MySQL 的 binlog_expire_logs_seconds 参数以增加 binlog 文件的保留时间。默认值为 24 小时，您可以将其增加到更长的时间，例如 7 天或 14 天。
SET GLOBAL binlog_expire_logs_seconds = 604800;
方法 2：配置 connector.startup.mode
此属性指定连接器是否应该从头开始读取 binlog。将此属性设置为 initial，Flink CDC 将尝试从头开始读取 binlog。
configure the connector to start reading from a timestamp earlier than xxx
如果不确定从哪个时间戳开始读取数据，可以尝试从一个较早的时间戳开始，例如从 MySQL 数据库创建之日起开始读取。
方法 3：重启 Flink CDC 作业
如果以上方法都无法解决问题，请尝试重启 Flink CDC 作业。在重启作业之前，请确保您已经增加了 MySQL binlog 文件的保留时间。
常见问题解答
1. 如何检查 MySQL binlog 保留时间？
SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
2. 如何授予 Flink CDC 读账号读取旧 binlog 的权限？
GRANT REPLICATION SLAVE ON *.* TO 'username'@'hostname' IDENTIFIED BY 'password';
3. connector.startup.mode 的其他可选值是什么？
latest：从 binlog 中最新的可用位置开始读取。timestamp：从指定的 Unix 时间戳开始读取。earliest：从 binlog 中最早的可用位置开始读取。
4. 如果 Flink CDC 读取旧 binlog 出现问题，如何解决？
尝试增加 MySQL binlog 保留时间或将 connector.startup.mode 设置为 earliest。
5. 如何优化 Flink CDC 的 binlog 读取性能？
- 使用 MySQL 的 row 格式化二进制日志（ROW_FORMAT=BINARY）。
- 将 MySQL binlog_cache_size 设置为较大的值。
- 使用 Flink 的 checkpointing 和状态保存点来处理故障。
总结
本文介绍了 Flink CDC 读取 MySQL binlog 报错 "The connector is trying to read binlog starting at xxx but this is no longer available" 的原因和解决方案。通过增加 MySQL binlog 保留时间、配置 connector.startup.mode 和重启 Flink CDC 作业，您可以解决此错误并确保数据管道平稳运行。
