<Kafka 位移提交：手握主动，掌控消息消费进度>

2023-06-23 07:25:39

Kafka 位移提交：掌控消息消费，优化处理流程

在分布式消息系统中，位移提交扮演着至关重要的角色。理解并掌握位移提交的方式可以帮助你掌控消息消费进程，规避重复消费，确保可靠的消息处理。

把握主动，掌控消费进度

在传统单体应用中，消息消费进程清晰可见，由开发者自行把控。但在分布式系统中，由于引入多个消费者并行处理消息，消费进程变得更加复杂。为了协调消费者之间的消费行为，消息队列通常会为每个消费者维护一个消费位移（offset），记录该消费者已消费的消息位置。然而，消费者消费完一批消息后，需要将消费位移提交给消息队列，以标记已消费的消息。这个提交过程往往会带来一些问题，例如重复消费和数据丢失。

揭秘提交方式：自动与手动

Kafka 提供了两种提交位移的方式：自动提交和手动提交。自动提交顾名思义，无需开发者手动操作，由 Kafka 内部定时提交。但这种方式存在一定风险，如果在提交位移后，消费者崩溃，那么之前消费的消息可能会被重新消费。而手动提交则由开发者自行决定何时提交位移，从而降低重复消费的风险。但手动提交也需要开发者投入更多精力去管理提交时机，否则可能导致消息丢失。

消费位移提交：如何提交

手动提交位移的方式因不同语言的 Kafka 客户端而异。以 Java 客户端为例，可以使用 consumer.commitSync() 和 consumer.commitAsync() 方法手动提交位移。

以下代码展示了手动提交位移的示例：

// Java 代码
Consumer<String, String> consumer = ...;
consumer.subscribe(Arrays.asList("topic"));

while (true) {
  ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));

  for (ConsumerRecord<String, String> record : records) {
    // 处理消息
  }

  // 手动提交位移
  consumer.commitSync();
}