Flink1.16+FlinkCDC2.3依赖冲突知多少？原来升级还没那么简单！

2024-01-30 05:47:49

Flink CDC 升级遇到的依赖冲突难题及解决方案

近年来，搭载着全链路融合的实时大数据方案，Apache Flink 声势愈发强劲。然而，在使用 Flink CDC 进行升级时，你可能会遇到一些棘手的依赖冲突问题。本文将深入探讨这些坑点，并提供贴心的解决方案，帮助你轻松跨越鸿沟，顺利升级 Flink！

依赖冲突大盘点：Flink CDC 的“头号劲敌”

在升级 Flink CDC 时，与以下依赖组件之间的冲突不容忽视：

Hudi 存储
Kudu 存储
Beam
Iceberg
ClickHouse

解决方案：巧妙化解依赖冲突

针对这些依赖冲突，你可以采用以下策略：

升级 Flink CDC 至 2.3 版本： Flink CDC 2.3 版本已与上述存储系统兼容，升级后即可消除冲突。
调整依赖版本： 修改 Flink CDC 和冲突组件的依赖版本，使其相互兼容。

问题一：Flink CDC 与 Hudi 依赖冲突

代码示例：

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-hudi</artifactId>
  <version>2.3.0</version>
</dependency>

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-cdc-connectors</artifactId>
  <version>2.3.0</version>
</dependency>

问题二：Flink CDC 与 Kudu 依赖冲突

代码示例：

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-kudu</artifactId>
  <version>2.3.0</version>
</dependency>

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-cdc-connectors</artifactId>
  <version>2.3.0</version>
</dependency>

问题三：Flink CDC 与 Beam 依赖冲突

代码示例：

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-beam</artifactId>
  <version>2.3.0</version>
</dependency>

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-cdc-connectors</artifactId>
  <version>2.3.0</version>
</dependency>

问题四：Flink CDC 与 Iceberg 依赖冲突

代码示例：

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-iceberg</artifactId>
  <version>2.3.0</version>
</dependency>

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-cdc-connectors</artifactId>
  <version>2.3.0</version>
</dependency>

问题五：Flink CDC 与 ClickHouse 依赖冲突

代码示例：

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-clickhouse</artifactId>
  <version>2.3.0</version>
</dependency>

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-cdc-connectors</artifactId>
  <version>2.3.0</version>
</dependency>