使用可靠的步骤在 Linux 上安装 Apache Kafka 集群

1. 前提条件

在开始安装 Kafka 集群之前，您需要确保您的 Linux 系统满足以下要求：

• 操作系统：Ubuntu 18.04 或更高版本
• Java：JDK 8 或更高版本
• ZooKeeper：3.4.14 或更高版本
• Kafka：2.12.0 或更高版本

2. 规划集群拓扑

在安装 Kafka 集群之前，您需要规划集群的拓扑结构。这包括确定集群中需要多少个代理、代理之间的连接方式以及每个代理应分配多少内存和存储空间。

3. 安装 ZooKeeper

ZooKeeper 是 Kafka 集群的协调服务，用于管理集群元数据和协调代理之间的通信。在每个 Kafka 代理上安装 ZooKeeper：

sudo apt-get update
sudo apt-get install zookeeper

4. 安装 Kafka

在每个 Kafka 代理上安装 Kafka：

sudo apt-get update
sudo apt-get install kafka

5. 配置 Kafka

在每个 Kafka 代理上配置 Kafka：

sudo nano /etc/kafka/server.properties

在 server.properties 文件中，设置以下参数：

broker.id=1
listeners=PLAINTEXT://:9092
zookeeper.connect=localhost:2181

6. 启动 Kafka

在每个 Kafka 代理上启动 Kafka：

sudo service kafka start

7. 验证集群

您可以使用以下命令验证 Kafka 集群是否正在运行：

sudo kafka-topics --list

如果命令输出中列出了主题列表，则说明 Kafka 集群已成功启动并运行。

8. 使用 Kafka

现在，您可以开始使用 Kafka 了。您可以使用以下命令创建主题：

sudo kafka-topics --create --topic my-topic --partitions 3 --replication-factor 2

您可以使用以下命令向主题发送消息：

sudo kafka-console-producer --topic my-topic --message "Hello, world!"

您可以使用以下命令从主题接收消息：

sudo kafka-console-consumer --topic my-topic --from-beginning

9. 故障排除

如果您在安装或使用 Kafka 集群时遇到问题，您可以参考 Kafka 文档或在网上搜索解决方案。