首次运行Seatunnel 2.3.2 Doris数据同步到Hive(CDH-6.3.2)，踩坑记录大揭秘！

2023-03-26 09:44:20

Seatunnel：化解Doris数据同步到Hive的“坑王”挑战

在数据湖的广袤天地里，Seatunnel作为一款出色的数据同步工具，帮助用户们轻松实现数据流动。然而，在进行Doris数据同步到Hive时，用户们可能面临重重“坑王”的挑战。本文将深入解析这些挑战，并提供相应的解决方案，助力用户们扫清障碍，实现数据同步的胜利凯旋。

初见“坑王”：席卷数据湖的阻碍

当用户们满怀期待地启动Seatunnel，准备将Doris数据同步到Hive时，却可能遭遇一系列“坑王”的轮番轰炸：

java.lang.NoClassDefFoundError: org/apache/hadoop/hive/metastore/api/MetaException2
java.lang.NoClassDefFoundError: org/apache/thrift/TBase3
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf4
java.lang.NoClassDefFoundError: com/facebook

这些“坑王”们接踵而至，让用户们措手不及，茫然无措。

踏上“灭坑”之旅：拨开迷雾，直击要害

为了帮助用户们顺利跨越这些“坑王”的阻碍，我们深入探索了问题的根源，并找到了对应的解决方案：

MetaException2：调和版本差异，化解冲突

“MetaException2”的出现往往是由于Hive版本不兼容导致的。为了解决这一问题，用户们需要使用与Seatunnel 2.3.2兼容的Hive版本，如Hive 2.3.6。

// Maven
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>2.3.6</version>
</dependency>

TBase3：引入相关依赖，消除缺失

“TBase3”的缺失通常是因为缺少相关的jar包。为了解决这一问题，用户们需要引入thrift-shaded-0.13.0.jar包，以满足Seatunnel 2.3.2的依赖要求。

// Maven
<dependency>
    <groupId>org.apache.thrift</groupId>
    <artifactId>libthrift</artifactId>
    <version>0.13.0</version>
    <classifier>shaded</classifier>
</dependency>

HiveConf4：调整版本，找回缺失

“HiveConf4”的缺失与Hive版本不兼容有关。为了解决这一问题，用户们需要使用与Seatunnel 2.3.2兼容的Hive版本，如Hive 2.3.6。

// Maven
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>2.3.6</version>
</dependency>

Facebook：排除冗余依赖，保持纯净

“Facebook”的出现可能是由于存在无效的jar包。为了解决这一问题，用户们需要排除无效的jar包，并确保仅保留必要的依赖。

// Maven
<dependency>
    <groupId>com.facebook.hive</groupId>
    <artifactId>hive-hbase-handler2</artifactId>
    <version>2.3.6</version>
    <scope>provided</scope>
</dependency>