消息去重: 优化消息系统, 告别重复投递和消费

后端

2023-02-17 17:06:00

消息去重：确保可靠性的关键

什么是消息去重？

在分布式系统中，消息中间件扮演着至关重要的角色，确保消息传输的可靠性。然而，消息可能面临重复投递或重复消费的问题。这会导致一系列严重的后果，包括：

数据不一致： 重复的消息会导致数据混乱，影响业务准确性和可靠性。
资源浪费： 重复的消息需要额外的处理和存储，造成系统资源浪费。
性能下降： 重复的消息会增加系统负载，导致性能下降。

消费端实现：一种常见方法

通常，保证消息仅消费一次的任务交由消费端实现。这可以通过维护一个消息 ID 列表来实现。当接收到新消息时，消费端会检查该 ID 是否已存在于列表中。如果是，表明消息已消费过，消费端将忽略该消息。

这种方法简单易行，但存在以下缺点：

增加消费端复杂性和开销。
消息 ID 列表可能很大，影响消费端性能。
消费端发生故障或重启时，消息 ID 列表可能会丢失，导致重复消息被消费。

基于 RoaringBitmap 的通用消息去重组件设计

为了克服消费端实现的不足，本文提出了一种基于 RoaringBitmap 的通用消息去重组件设计。RoaringBitmap 是一种高效的位图数据结构，非常适合用于消息去重。该组件可以独立部署，也可以与消息中间件集成。

组件工作原理：

消息发送者在发送消息之前，将消息 ID 哈希为一个整数。
消息中间件将消息 ID 哈希值发送给消息去重组件。
消息去重组件将消息 ID 哈希值存储在 RoaringBitmap 中。
当消费端收到消息时，将消息 ID 哈希为一个整数。
消费端将消息 ID 哈希值发送给消息去重组件。
消息去重组件检查 RoaringBitmap 中是否已存在该消息 ID 哈希值。
如果存在，表明消息已消费过，消费端将忽略该消息。
如果不存在，表明消息是第一次被消费，消费端将处理该消息并将其存储在 RoaringBitmap 中。

优点：

高效： RoaringBitmap 的高效性使其非常适合用于消息去重。
可扩展： 该组件可独立部署或与消息中间件集成。
容错： 该组件可在消息中间件或消费端发生故障时继续工作。
通用： 该组件可用于各种消息中间件和消费端。

代码示例：

// 消息发送者
String messageId = "12345";
int hash = messageId.hashCode();
messageSender.send(hash);

// 消息去重组件
RoaringBitmap bitmap = new RoaringBitmap();
bitmap.add(hash);

// 消费端
if (bitmap.contains(hash)) {
  // 消息已消费过，忽略
} else {
  // 消息是第一次消费，处理并添加到 RoaringBitmap 中
  bitmap.add(hash);
  // 处理消息
}