深入剖析 RocketMQ 过期文件删除机制，保障存储健康

后端

2023-12-03 07:00:30

RocketMQ 过期文件删除机制：源码剖析

引言

RocketMQ 是 Apache 软件基金会下的一个开源消息中间件，以其高性能、高可靠性和易用性而著称。RocketMQ 的存储文件主要分三种：

CommitLog： 存储生产者发送的消息。
ConsumeQueue： 存储消费者消费消息的队列。
IndexFile： 存储 CommitLog 和 ConsumeQueue 的索引信息。

为了保持存储空间的整洁和避免数据冗余，RocketMQ 实施了过期文件删除机制，会定期删除已经过期的存储文件。本文将对 RocketMQ 的过期文件删除机制进行源码剖析。

过期策略

RocketMQ 的过期策略基于文件创建时间。当一个存储文件创建超过指定时间后，它将被视为过期文件。过期时间的配置项为 brokerDeleteFilesPeriod，默认值为 72 小时（3 天）。

过期文件删除机制

RocketMQ 的过期文件删除机制是一个后台任务，由 CleanFilesPeriodicallyService 服务定期执行。该服务每 brokerDeleteFilesPeriod 小时运行一次，并删除所有超过 brokerDeleteFilesPeriod 小时创建的文件。

删除过程分为以下步骤：

扫描存储目录，找出所有满足过期条件的文件。
删除这些过期文件。
更新索引文件以反映已删除的文件。

源码剖析

过期文件删除机制的主要实现逻辑位于 org.apache.rocketmq.store.DefaultMessageStore 类的 cleanFilesPeriodically() 方法中：

public void cleanFilesPeriodically() {
    // 省略其他代码...

    final boolean print = log.isDebugEnabled();

    long now = System.currentTimeMillis();
    long min = now - brokerDeleteFilesPeriod * 1000;
    out.reset();

    this.commitLog.deleteExpiredFiles(min, out);
    this.consumeQueue.deleteExpiredFiles(min, out);
    this.indexFile.deleteExpiredFiles(min, out);

    if (print) {
        log.debug("Clean files periodically: " + out.sb.toString());
    }
}