走进kafka：把握面试技巧，提升求职竞争力

后端

2023-10-28 06:50:03

深入剖析 Kafka 面试中的 20 道常见问题

如果你是一位雄心勃勃的软件开发人员，渴望在蓬勃发展的 Apache Kafka 领域崭露头角，那么掌握 Kafka 常见面试问题至关重要。无论你是初学者还是经验丰富的专业人士，精通这些问题将让你在竞争激烈的求职环境中脱颖而出。

剖析 Kafka 常见面试问题

1. Kafka 消费者的模式

Kafka 采用了拉模式，这意味着消费者主动从代理中获取消息。与推模式相比，拉模式提供了显着的优势，例如：

消费者控制自己的消费速率，避免数据丢失或处理延迟。
消费者可以灵活地跳过已处理的消息，提高处理效率。

2. Kafka 消息状态跟踪

Kafka 通过维护每个主题的分区状态来跟踪消息状态。每个分区都有一个领导者和多个副本。领导者处理客户端请求并写入分区，而副本则从领导者复制数据，确保数据冗余。

3. ZooKeeper 在 Kafka 中的作用

ZooKeeper 是 Kafka 的协调服务，负责：

存储 Kafka 集群元数据，包括主题、分区、副本和消费者组信息。
协调消费者组中的消费者，确保每个分区的消息仅由一个消费者消费。
监控 Kafka 集群状态，及时发现并解决故障。

4. Kafka 节点存活判断条件

Kafka 评估节点存活性的两个标准：

节点定期向 ZooKeeper 发送心跳消息。
节点及时响应其他节点的请求。

5. Kafka 确认机制

Kafka 提供三种确认机制：

无确认： 不等待任何确认，发送消息后立即返回。
领导者确认： 仅等待领导者副本确认消息已收到。
所有确认： 等待所有副本都确认消息已收到。

6. Kafka 中保证顺序消费

在分布式 Kafka 环境中，可以通过以下方法保证消息顺序消费：

Kafka 顺序消费特性： Kafka 确保每个分区的消息按生产顺序消费。
单一消费者： 将每个分区分配给一个消费者，确保顺序消费。
时间戳： 为每条消息添加时间戳，并在消费时按时间戳排序。

7. Kafka 防止重复数据消费

Kafka 通过以下技术防止重复数据消费：

幂等性生产者： 确保每条消息仅处理一次，即使在故障或重试情况下。
消费者端去重： 消费者在消费消息时根据消息 ID 或其他唯一标识符进行去重。

8. Kafka 集群组成

Kafka 集群包含以下组件：

代理： Kafka 服务器，负责存储和处理消息。
ZooKeeper： 协调服务，存储和管理 Kafka 集群元数据。
生产者： 发送消息到 Kafka 集群。
消费者： 从 Kafka 集群消费消息。

示例代码：

// 生产者配置
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

// 创建生产者
Producer<String, String> producer = new KafkaProducer<>(props);

// 创建记录
ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value");

// 发送记录
producer.send(record);

// 消费者配置
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

// 创建消费者
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

// 订阅主题
consumer.subscribe(Arrays.asList("my-topic"));

// 轮询消息
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(100);
    for (ConsumerRecord<String, String> record : records) {
        System.out.println(record.key() + ": " + record.value());
    }
}