解密Kafka存取原理，揭开面试奥秘

2022-11-28 08:46:10

Kafka 存取原理：探索分布式流处理平台

生产者篇：数据进入 Kafka

Kafka 的生产者负责将数据发送到集群。它们连接到集群，选择一个主题，并将数据打包成消息，然后发送到该主题。Kafka 将消息持久化存储在分区中，以确保数据安全。

代码示例：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class KafkaProducerExample {

    public static void main(String[] args) {
        // 创建生产者
        KafkaProducer<String, String> producer = new KafkaProducer<>(properties);

        // 创建消息
        ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "Hello, Kafka!");

        // 发送消息
        producer.send(record);

        // 关闭生产者
        producer.close();
    }
}

消费者篇：从 Kafka 中读取数据

消费者连接到 Kafka 集群并订阅主题。当有新数据时，Kafka 会将数据推送给消费者。消费者可以根据需要处理和使用数据。

代码示例：

import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class KafkaConsumerExample {

    public static void main(String[] args) {
        // 创建消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);

        // 订阅主题
        consumer.subscribe(Arrays.asList("my-topic"));

        // 轮询新数据
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);

            for (ConsumerRecord<String, String> record : records) {
                System.out.println(record.value());
            }
        }

        // 关闭消费者
        consumer.close();
    }
}