轻松打造 3 台虚拟机搭建 kafka 集群：分步指南
2023-11-11 19:15:55
引言：揭秘 Apache Kafka 的强大魅力
Apache Kafka 作为一种分布式流处理平台，以其强大的功能和可靠性备受推崇。通过实时处理大量数据，它为各种应用场景赋予了活力，包括日志收集、消息传递、数据管道等。搭建一个可靠稳定的 Kafka 集群是充分利用其优势的关键所在。本指南将带领您一步步构建一个由 3 台虚拟机组成的 Kafka 集群，助力您充分发挥 Kafka 的强大功能。
第一步：下载 Apache Kafka
- 访问 Apache Kafka 官网 https://kafka.apache.org/。
- 选择适合您环境的 Kafka 版本。
- 下载 Kafka 二进制发行版。
第二步：解压 Apache Kafka
- 将下载的 Kafka 二进制发行版解压到您选择的目录。
- 重命名解压后的文件夹为 "kafka"。
第三步：修改 server.properties 文件
-
在 "kafka" 目录中找到 "config" 子目录。
-
打开 "server.properties" 文件。
-
找到以下属性：
broker.id：将此属性的值设置为每个 Kafka 服务器的唯一 ID。listeners：将此属性的值设置为 Kafka 服务器侦听的端口和主机。log.dirs：将此属性的值设置为 Kafka 服务器存储日志的目录。
第四步：将配置文件发送到其他节点
- 将修改后的 "server.properties" 文件复制到其他 Kafka 服务器的 "config" 子目录中。
第五步：修改其他节点的 server.properties 文件
- 在每个 Kafka 服务器上，打开 "server.properties" 文件。
- 将
broker.id的值更改为每个服务器的唯一 ID。
第六步：启动 ZooKeeper
-
在每个 Kafka 服务器上，打开终端或命令提示符。
-
导航到 Kafka 安装目录。
-
运行以下命令启动 ZooKeeper：
bin/zookeeper-server-start.sh config/zookeeper.properties
第七步：启动 Kafka 服务器
-
在每个 Kafka 服务器上，打开终端或命令提示符。
-
导航到 Kafka 安装目录。
-
运行以下命令启动 Kafka 服务器：
bin/kafka-server-start.sh config/server.properties
验证 Kafka 集群是否正常运行
-
在其中一台 Kafka 服务器上，打开终端或命令提示符。
-
导航到 Kafka 安装目录。
-
运行以下命令：
bin/kafka-topics.sh --list -
如果您看到一个空列表，则表明 Kafka 集群正常运行。
使用 Kafka 集群
现在您已经成功搭建了 Kafka 集群，可以开始使用它来处理数据了。您可以使用 Kafka API 或 Kafka CLI 工具与集群进行交互。有关如何使用 Kafka 集群的更多信息，请参阅 Apache Kafka 官方文档。
