Kafka源码解析——Topic的创建之旅

后端

2022-12-03 08:22:20

深入剖析 Kafka 的 Topic 创建之旅：揭秘背后的奥秘

认识 Kafka Topic 创建的蓝图：脚本参数

当你踏上 Kafka Topic 创建之旅时，一切始于脚本参数。这些参数就像一幅蓝图，勾勒出 Topic 的基本特征：

名称： 指定 Topic 的唯一标识符。
分区数： 定义 Topic 中数据存储的逻辑单元数量。
副本数： 决定每个分区的副本数量，以提高容错性和数据持久性。

揭秘 AdminClientTopicService：Topic 创建的幕后推手

随着脚本参数的注入，Kafka 的内部机制悄然启动，AdminClientTopicService 对象应运而生。它宛如一位经验丰富的建筑师，统筹整个 Topic 创建过程。

AdminClientTopicService.createTopics()：Topic 创建的核心理器

AdminClientTopicService.createTopics() 方法可谓 Topic 创建过程的核心理器。在这个方法中，一系列复杂的操作环环相扣，最终构建出 Topic 的雏形。

1. 参数检查：确保一切无懈可击

首先，该方法会对输入参数进行细致的审查，确保 Topic 的名称、分区数和副本数等符合要求。任何参数不达标，方法都将毫不犹豫地抛出异常，阻止 Topic 创建进程。

2. 获取集群元数据：洞悉 Kafka 集群的脉络

为了让 Topic 顺利落户，方法需要获取 Kafka 集群的元数据，了解集群的当前状态。这些元数据包括集群中有哪些 Broker，以及每个 Broker 负责哪些分区。

3. 创建 Topic：让 Topic 在 Kafka 集群中安家落户

掌握了集群元数据后，方法便能着手创建 Topic。它会向集群中的每个 Broker 发送创建 Topic 的请求，并耐心等待 Broker 的回应。如果所有 Broker 都成功创建了 Topic，那么 Topic 就算创建成功了。

代码实战：亲手打造 Kafka Topic

为了让你更深入地理解 Topic 创建过程，我们准备了一段示例代码，让你亲自体验创建的乐趣：

import org.apache.kafka.clients.admin.AdminClient;
import org.apache.kafka.clients.admin.CreateTopicsResult;
import org.apache.kafka.clients.admin.NewTopic;

import java.util.Arrays;
import java.util.Collections;
import java.util.concurrent.ExecutionException;

public class CreateTopic {

    public static void main(String[] args) throws ExecutionException, InterruptedException {
        // 创建 AdminClient 对象
        AdminClient adminClient = AdminClient.create();

        // 定义 Topic 信息
        NewTopic topic = new NewTopic("test-topic", 3, (short) 2);

        // 创建 Topic
        CreateTopicsResult result = adminClient.createTopics(Collections.singletonList(topic));

        // 获取创建结果
        result.all().get();

        // 关闭 AdminClient 对象
        adminClient.close();
    }
}