Kafka Leader Epoch 机制解析，轻松理解复制同步与高水位

2023-10-18 22:15:00

引言

Apache Kafka 是一个分布式流媒体平台，因其卓越的吞吐量、低延迟和高可靠性而受到广泛青睐。在 Kafka 集群中，数据以主题（Topic）的形式组织，每个主题包含多个分区（Partition），每个分区由一个 Leader 副本和多个 Follower 副本组成。为了确保数据的可靠性，Kafka 使用复制同步机制，将 Leader 副本上的数据同步到 Follower 副本上。

Kafka 复制同步机制

Kafka 的复制同步机制主要通过高水位（High Watermark）来实现。高水位是指 Follower 副本上已成功同步的最大偏移量。当 Leader 副本收到来自客户端的新数据时，它会将数据追加到本地日志中，并将高水位推进。Follower 副本会不断地从 Leader 副本拉取数据，并将数据追加到本地日志中，直到其高水位赶上 Leader 副本的高水位。

Kafka Leader Epoch 机制

在 Kafka 0.11 版本之前，高水位机制存在一些缺陷。例如，当 Leader 副本发生故障时，新选出的 Leader 副本需要从高水位开始重新同步数据，这会导致数据丢失。为了解决这个问题，Kafka 0.11 版本引入了 Leader Epoch 机制。

Leader Epoch 是一个单调递增的数字，用于标识 Leader 副本的任期。每个 Leader 副本都有一个唯一的 Leader Epoch。当 Leader 副本发生故障时，新选出的 Leader 副本会分配一个新的 Leader Epoch。Follower 副本会根据 Leader Epoch 来确定是否需要从高水位开始重新同步数据。

如果 Follower 副本发现 Leader Epoch 发生变化，则表明当前 Leader 副本已经发生故障，需要重新同步数据。此时，Follower 副本会从高水位开始重新同步数据。如果 Follower 副本发现 Leader Epoch 没有发生变化，则表明当前 Leader 副本仍然有效，不需要重新同步数据。