瓜子二手车：关于 Dubbo 版本升级、多机房方案的思考和实践

2023-12-04 08:03:46

前言

随着瓜子业务的不断发展，系统规模在逐渐扩大，目前在瓜子的私有云上已经运行着数百个 Dubbo 应用，上千个 Dubbo 实例。瓜子各部门业务迅速发展，版本没有来得及统一，各个部门都有自己的用法。随着第二机房的建设，Dubbo 版本统一的需求变得越发迫切。几个月前，公司发生了一次故障，导致线上所有 Dubbo 服务全部宕机。这次故障给我们敲响了警钟，也让我们深刻认识到 Dubbo 版本统一和多机房部署的重要性。

Dubbo 版本升级

背景

瓜子目前使用的 Dubbo 版本是 2.6.0，该版本已经发布多年，存在诸多问题。例如：

性能问题：Dubbo 2.6.0 的性能较差，尤其是大并发场景下，很容易出现超时和连接复用的问题。
稳定性问题：Dubbo 2.6.0 的稳定性较差，经常会出现各种各样的问题，导致服务不可用。
安全问题：Dubbo 2.6.0 存在诸多安全漏洞，容易被攻击者利用。

升级方案

为了解决这些问题，瓜子决定将 Dubbo 版本升级到 2.7.6。Dubbo 2.7.6 是 Dubbo 的最新版本，相比于 2.6.0，它具有以下优势：

性能优化：Dubbo 2.7.6 的性能比 2.6.0 有了显著提升，在大并发场景下，超时和连接复用的问题得到了有效解决。
稳定性优化：Dubbo 2.7.6 的稳定性比 2.6.0 有了很大的提高，各种各样的问题基本都得到了解决。
安全优化：Dubbo 2.7.6 修复了诸多安全漏洞，提高了服务的安全性。

升级过程

瓜子在升级 Dubbo 版本时，采用了分批升级的策略。首先，我们对部分非核心服务进行了升级，并在生产环境中进行了试运行。经过一段时间的试运行，我们发现 Dubbo 2.7.6 的表现良好，于是我们又对更多的服务进行了升级。最后，我们对所有 Dubbo 服务都进行了升级。

在升级过程中，我们遇到了以下几个问题：

服务兼容性问题：Dubbo 2.7.6 与 2.6.0 的服务接口不兼容，导致升级后的服务无法与老版本的服务进行通信。为了解决这个问题，我们对服务接口进行了修改，以确保兼容性。
服务注册中心问题：瓜子使用 ZooKeeper 作为服务注册中心，ZooKeeper 在大并发场景下容易出现性能问题。为了解决这个问题，我们对 ZooKeeper 集群进行了优化，并使用 Dubbo 自带的注册中心代替了 ZooKeeper。
服务监控问题：瓜子使用 Prometheus 对服务进行监控，Prometheus 在大并发场景下容易出现性能问题。为了解决这个问题，我们对 Prometheus 集群进行了优化，并使用了 Dubbo 自带的监控系统代替了 Prometheus。

多机房方案

背景

瓜子目前在两个机房运行着业务，这两个机房之间存在着网络延迟。如果 Dubbo 服务部署在不同的机房，那么服务之间的调用就会受到网络延迟的影响，导致服务调用超时。为了解决这个问题，瓜子决定采用多机房方案。

方案设计

瓜子的多机房方案主要包括以下几个部分：

服务发现：瓜子使用 Dubbo 的注册中心来进行服务发现。Dubbo 的注册中心支持多机房部署，因此瓜子可以在两个机房中分别部署一个注册中心。
服务路由：瓜子使用 Dubbo 的路由规则来进行服务路由。Dubbo 的路由规则支持多种路由策略，瓜子可以选择最适合自己业务的路由策略。
故障隔离：瓜子使用 Dubbo 的故障隔离机制来实现故障隔离。Dubbo 的故障隔离机制支持多种故障隔离策略，瓜子可以选择最适合自己业务的故障隔离策略。

方案实施

瓜子在实施多机房方案时，遇到了以下几个问题：

注册中心同步问题：瓜子在两个机房中部署了两个注册中心，这两个注册中心之间需要进行数据同步。为了解决这个问题，瓜子使用了 Dubbo 的注册中心同步机制来进行数据同步。
路由规则配置问题：瓜子需要对 Dubbo 的路由规则进行配置，以确保服务能够正确地路由到目标机房。为了解决这个问题，瓜子使用 Dubbo 的路由规则配置机制来进行路由规则配置。
故障隔离配置问题：瓜子需要对 Dubbo 的故障隔离机制进行配置，以确保服务能够正确地进行故障隔离。为了解决这个问题，瓜子使用 Dubbo 的故障隔离配置机制来进行故障隔离配置。