世界级的产品-TiDB 7.x 内核演进与 Apache Doris 全面升级

在 PingCAP 用户峰会 2023 上，PingCAP 研发副总裁唐刘、PingCAP 首席科学家丁岩，共同带来了“携手中国用户，打造世界级产品”主题分享。分别从 TiDB 7.x 版本内核的演进、TiKV 存储引擎的优化、TiFlash 列存引擎的全面升级、TiDB Operator 统一运维能力，以及 Apache Doris 全面升级 2.0 等多个方向深入浅出地剖析了 PingCAP 如何根据中国用户的需求，进行产品演进和优化，并不断提升产品的易用性和稳定性。

TiDB 7.x 版本内核架构
TiDB 7.x 版本的内核架构发生了重大变革。传统的 TiDB 架构采用 Leader-Follower 架构，其中 Leader 负责处理所有读写请求，而 Follower 负责数据同步和备份。这种架构存在一些缺点，例如：

• Leader 性能成为瓶颈，限制了整个数据库的吞吐量。
• Leader 故障会导致整个数据库不可用。
• Follower 节点资源利用率低，造成资源浪费。

为了解决这些问题，TiDB 7.x 版本采用了 Paxos 协议实现多副本一致性，并将数据分布在多个副本上。这样，每个副本都可以处理读写请求，从而提高了数据库的吞吐量。同时，由于采用了 Paxos 协议，即使某个副本出现故障，也不会导致整个数据库不可用。

TiKV 存储引擎优化
TiKV 是 PingCAP 公司自主研发的分布式存储引擎，用于 TiDB 数据库。TiKV 在过去几年中不断优化，性能得到了显著提升。在 TiDB 7.x 版本中，TiKV 的性能优化主要集中在以下几个方面：

• RocksDB 存储引擎的优化
• Raft 协议的优化
• 数据压缩算法的优化
• 内存管理的优化

这些优化使 TiKV 的性能得到了显著提升。在 TPC-C 基准测试中，TiDB 7.x 版本的性能比 TiDB 6.x 版本提高了 30% 以上。

TiFlash 列存引擎全面升级
TiFlash 是 PingCAP 公司自主研发的分布式列存引擎，用于 TiDB 数据库。TiFlash 在过去几年中也得到了快速发展，在 TiDB 7.x 版本中，TiFlash 迎来了全面升级。

本次升级主要包括以下几个方面：

• 存储计算分离架构
• 列式存储格式
• 向量化执行引擎
• 动态数据修剪

这些升级使 TiFlash 的性能得到了显著提升。在 TPC-H 基准测试中，TiFlash 的性能比 TiDB 6.x 版本提高了 10 倍以上。

TiDB Operator 统一运维能力
TiDB Operator 是 PingCAP 公司自主研发的 TiDB 集群管理工具。TiDB Operator 可以帮助用户轻松部署、管理和监控 TiDB 集群。在 TiDB 7.x 版本中，TiDB Operator 迎来了重大升级。

本次升级主要包括以下几个方面：

• 统一的运维界面
• 自动化运维能力
• 故障自愈能力

这些升级使 TiDB Operator 更加易用和强大，可以帮助用户更轻松地管理 TiDB 集群。

Apache Doris 全面升级 2.0
Apache Doris 是 PingCAP 公司开源的分布式 MPP 数据库，支持实时和批处理混合负载。在 Apache Doris 2.0 版本中，Doris 迎来了全面的升级。

本次升级主要包括以下几个方面：

• 新的存储引擎：Apache Doris 2.0 采用了新的存储引擎，该存储引擎基于 Apache Parquet 格式，支持列式存储和向量化执行。
• 新的查询引擎：Apache Doris 2.0 采用了新的查询引擎，该查询引擎基于 Apache Calcite 框架，支持 ANSI SQL 和各种高级分析功能。
• 新的集群管理工具：Apache Doris 2.0 采用了新的集群管理工具，该工具可以帮助用户轻松部署、管理和监控 Doris 集群。

这些升级使 Apache Doris 2.0 成为一款更加强大和易用的 MPP 数据库。