消息刷盘：从理论到实践

2023-12-22 03:53:58

RocketMQ 消息刷盘方式详解

消息队列作为分布式系统的重要组件，负责消息的可靠传输和存储。消息可靠性是衡量消息队列的关键指标，而消息持久化是实现消息可靠性的关键手段。RocketMQ 作为一款分布式消息队列系统，提供了四种消息刷盘方式：同步刷盘、异步刷盘、批量刷盘和实时刷盘。本文将深入剖析 RocketMQ 是如何实现这四种刷盘方式的，并探讨每种方式的优缺点。

消息刷盘方式概述

在了解 RocketMQ 如何实现刷盘方式之前，让我们先概览一下这四种方式：

同步刷盘： 消息写入内存后立即写入磁盘。可靠性高，但效率低。
异步刷盘： 消息写入内存后写入内存缓冲区，定时或缓冲区满后写入磁盘。效率高，可靠性低于同步刷盘。
批量刷盘： 将多个消息一起写入磁盘。效率高，可靠性低于同步和异步刷盘。
实时刷盘： 消息写入内存后立即写入磁盘，同时写入内存缓冲区。效率高于同步刷盘，可靠性低于同步刷盘。

RocketMQ 如何实现刷盘方式

RocketMQ 使用不同的机制来实现四种刷盘方式：

同步刷盘

public void write(MessageExt msgExt, boolean committed) {
    FileChannel fileChannel = this.getFileChannel(commitLog);
    ByteBuffer byteBuffer = this.writeBuffer;
    byteBuffer.clear();
    msgExt.encode(byteBuffer);
    fileChannel.position(fileReservedSize);
    fileChannel.write(byteBuffer);
    this.flush(fileChannel);
}

同步刷盘直接调用 FileChannel.write() 方法将消息写入磁盘，保证了数据的高可靠性。

异步刷盘

public void run() {
    while (this.started) {
        try {
            this.flush(commitLog);
        } catch (Throwable e) {
            log.error("Flush ConsumeQueue commit log error", e);
        }
    }
}

异步刷盘通过后台线程定时或缓冲区满后将内存缓冲区中的消息写入磁盘，提升了效率。

批量刷盘

public void write(List<MessageExt> msgs, boolean committed) {
    FileChannel fileChannel = this.getFileChannel(commitLog);
    ByteBuffer byteBuffer = this.writeBuffer;
    for (MessageExt msg : msgs) {
        msg.encode(byteBuffer);
    }
    fileChannel.position(fileReservedSize);
    fileChannel.write(byteBuffer);
    this.flush(fileChannel);
}

批量刷盘将多个消息一起写入磁盘，进一步提高了效率。

实时刷盘

public void write(MessageExt msgExt, boolean committed) {
    FileChannel fileChannel = this.getFileChannel(commitLog);
    ByteBuffer byteBuffer = this.writeBuffer;
    byteBuffer.clear();
    msgExt.encode(byteBuffer);
    fileChannel.position(fileReservedSize);
    fileChannel.write(byteBuffer);
    this.flush(fileChannel);

    this.putMessageQueueBuffer(commitLog, msgExt);
    this.flushMessageQueueBuffer(commitLog);
}

实时刷盘同时将消息写入磁盘和内存缓冲区，在保证可靠性的前提下提高了效率。

刷盘方式优缺点对比

刷盘方式	优点	缺点
同步刷盘	高可靠性	效率低
异步刷盘	高效率	可靠性低于同步刷盘
批量刷盘	最高效率	可靠性最低
实时刷盘	兼顾效率和可靠性	介于同步和异步刷盘之间