剖析 Flink CDC 入 Hudi MOR 难题：为何 Log Files 生成，却无 Rt 表查询结果？

2024-02-04 12:06:43

引言

在现代数据处理领域，实时数据集成扮演着日益重要的角色。Flink CDC（Change Data Capture）作为一种流行的数据集成框架，可以从源系统中捕获数据变更，并实时传输到目标存储。Hudi MOR（Merge-on-Read）表则是一种高效的存储格式，专为实时数据处理而设计，能够有效处理数据变更。

然而，在实际应用中，用户可能会遇到这样的问题：Flink CDC 正常地将数据变更写入 Hudi MOR 表，日志文件（Log Files）也已生成，但从 Hive 中查询实时表（Rt 表）时却没有任何数据返回。这无疑会给数据分析和决策带来阻碍。

本文将以一个真实案例为基础，详细分析 Flink CDC 写入 Hudi MOR 表过程中可能遇到的问题，并提供解决方案。通过深入探讨数据流动的各个环节，我们将帮助读者理解数据集成场景中的常见挑战，并掌握解决问题的有效方法。

问题根源

为了解决上述问题，我们需要深入分析数据流动的各个环节，逐一排查可能的问题根源。常见的检查点包括：

数据源连接：
- 确认 Flink CDC 连接器是否正确配置，确保能够成功从源系统中捕获数据变更。
- 检查源系统是否正常运行，并确认其数据变更能够被 Flink CDC 及时捕获。
数据传输：
- 检查 Flink CDC 连接器是否将捕获的数据变更正确地发送到 Kafka 等消息队列中。
- 确认 Kafka 等消息队列正常运行，并确保 Flink CDC 能够可靠地消费这些数据变更。
数据写入：
- 检查 Flink CDC 写入 Hudi MOR 表的作业是否正常运行，确保能够将数据变更写入 Hudi 表中。
- 确认 Hudi MOR 表的配置正确，并确保其能够正确处理数据变更。
数据查询：
- 检查 Hive 查询配置是否正确，确保能够正确地查询 Hudi MOR 表。
- 确认 Hive Metastore 正常运行，并确保能够正确地检索 Hudi MOR 表的元数据。
数据转换：
- 检查 Flink CDC 作业中是否包含必要的转换操作，以确保数据能够正确地写入 Hudi MOR 表。
- 确认数据转换操作正确无误，并能够将数据变更转换为 Hudi MOR 表所需的格式。

解决方案

根据上述问题根源分析，我们可以提出相应的解决方案：

数据源连接：
- 仔细检查 Flink CDC 连接器配置，确保其能够正确连接到源系统并捕获数据变更。
- 确认源系统正常运行，并确保其数据变更能够被 Flink CDC 及时捕获。
数据传输：
- 检查 Flink CDC 连接器是否正确地将捕获的数据变更发送到 Kafka 等消息队列中。
- 确认 Kafka 等消息队列正常运行，并确保 Flink CDC 能够可靠地消费这些数据变更。
数据写入：
- 检查 Flink CDC 写入 Hudi MOR 表的作业是否正常运行，确保能够将数据变更写入 Hudi 表中。
- 确认 Hudi MOR 表的配置正确，并确保其能够正确处理数据变更。
数据查询：
- 检查 Hive 查询配置是否正确，确保能够正确地查询 Hudi MOR 表。
- 确认 Hive Metastore 正常运行，并确保能够正确地检索 Hudi MOR 表的元数据。
数据转换：
- 检查 Flink CDC 作业中是否包含必要的转换操作，以确保数据能够正确地写入 Hudi MOR 表。
- 确认数据转换操作正确无误，并能够将数据变更转换为 Hudi MOR 表所需的格式。