从命令行与代码体验Kafka的生产消费过程

后端

2024-01-25 13:00:47

Kafka 简介

Apache Kafka 是一个分布式流处理平台，可以存储、处理和传输大量实时数据。它具有高吞吐量、低延迟、可扩展性和容错性等特点，广泛应用于金融、电子商务、物联网等领域。

Kafka 的工作原理如下：

生产者将数据发送到 Kafka 集群。
Kafka 集群将数据存储在多个分区中。
消费者从 Kafka 集群读取数据。

Kafka 命令行演示

1. 安装与运行

首先，需要在服务器上安装 Kafka。可以从 Apache Kafka 官网下载最新版本的 Kafka。解压后，在命令行中进入 Kafka 目录，执行以下命令启动 Kafka：

./bin/kafka-server-start.sh config/server.properties

启动后，可以在命令行中执行以下命令查看 Kafka 状态：

./bin/kafka-topics.sh --list

如果看到类似以下输出，表示 Kafka 已经启动成功：

_schemas
__consumer_offsets

2. 发送消息

要向 Kafka 发送消息，可以使用 Kafka 提供的命令行工具 kafka-console-producer。在命令行中执行以下命令：

./bin/kafka-console-producer.sh --topic test

其中，test 是要发送消息的主题。然后，在命令行中输入要发送的消息，按回车即可发送。

3. 消费消息

要从 Kafka 消费消息，可以使用 Kafka 提供的命令行工具 kafka-console-consumer。在命令行中执行以下命令：

./bin/kafka-console-consumer.sh --topic test --from-beginning

其中，test 是要消费消息的主题，--from-beginning 表示从头开始消费。然后，在命令行中即可看到消费到的消息。

Kafka 代码演示

1. 依赖引入

首先，需要在项目中引入 Kafka 相关的依赖。使用 Maven 可以通过以下方式引入：

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-clients</artifactId>
  <version>3.2.2</version>
</dependency>

2. 发送消息

要使用代码发送消息到 Kafka，可以参考以下示例：

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

public class KafkaProducerDemo {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> producer = new KafkaProducer<>(props);

        ProducerRecord<String, String> record = new ProducerRecord<>("test", "hello, kafka!");

        producer.send(record);

        producer.close();
    }
}

3. 消费消息

要使用代码从 Kafka 消费消息，可以参考以下示例：

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

public class KafkaConsumerDemo {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        consumer.subscribe(Arrays.asList("test"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);

            for (ConsumerRecord<String, String> record : records) {
                System.out.println(record.key() + ": " + record.value());
            }
        }

        consumer.close();
    }
}