Pulsar：在 Linux 环境下的搭建指南

2023-09-26 16:21:01

在分布式系统中，消息队列是一种常见的通信机制，用于解耦生产者和消费者。Apache Pulsar 是一个开源的消息队列系统，具有高吞吐量、低延迟和高可靠性等特点。本文将详细介绍如何在 Linux 环境下搭建 Pulsar，并提供一些实用的命令行指令和操作步骤。

1. 环境准备

1.1 Java 环境为前提

在开始搭建 Pulsar 之前，确保您的系统上已经安装了 Java 环境。Pulsar 需要 Java 8 运行时环境。

1.1.1 上传 jdk-8u201

# 上传 jdk-8u201
tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local

1.1.2 设置环境变量

# 设置 JAVA_HOME 环境变量
export JAVA_HOME=/usr/local/jdk1.8.0_201

# 将 JAVA_HOME 添加到 PATH 环境变量
export PATH=$JAVA_HOME/bin:$PATH

# 保存环境变量
source /etc/profile

1.2 下载并安装 Apache Pulsar

1.2.1 下载 Pulsar

# 下载 Pulsar
wget https://archive.apache.org/dist/pulsar/pulsar-2.9.1/apache-pulsar-2.9.1-bin.tar.gz

1.2.2 解压并安装 Pulsar

# 解压 Pulsar
tar -zxvf apache-pulsar-2.9.1-bin.tar.gz

# 移动 Pulsar 到指定目录
mv apache-pulsar-2.9.1 /usr/local/pulsar

# 创建软链接
ln -s /usr/local/pulsar/bin/* /usr/bin/

2. 配置 Pulsar

2.1 创建 Pulsar 用户

为了安全起见，建议创建一个专门的用户来管理 Pulsar 的配置和资源。

# 创建 Pulsar 用户
bin/pulsar-admin users create my-user --role superuser

# 创建 Pulsar 角色
bin/pulsar-admin roles create my-role

2.2 修改配置文件

Pulsar 的配置文件 broker.conf 和 zookeeper.conf 可以进行相应的修改以满足不同的需求。

2.2.1 修改 conf/broker.conf

# 修改 conf/broker.conf
sed -i 's/# configurationStoreServers=.*$/configurationStoreServers=localhost:2181/' conf/broker.conf
sed -i 's/# webServicePort=.*$/webServicePort=8080/' conf/broker.conf

2.2.2 修改 conf/zookeeper.conf

# 修改 conf/zookeeper.conf
sed -i 's/# clientPort=.*$/clientPort=2181/' conf/zookeeper.conf

3. 启动 Pulsar

3.1 启动 ZooKeeper

Pulsar 使用 ZooKeeper 进行分布式协调和管理，因此需要先启动 ZooKeeper。

# 启动 ZooKeeper
bin/zookeeper-server start

3.2 启动 Pulsar

ZooKeeper 启动成功后，可以启动 Pulsar 服务。

# 启动 Pulsar
bin/pulsar standalone

4. 使用 Pulsar

4.1 创建主题

在 Pulsar 中，主题是消息队列的基本单位。可以通过命令行工具创建主题。

# 创建主题
bin/pulsar-admin topics create persistent://my-topic

4.2 发布消息

创建主题后，可以使用客户端工具发布消息。

# 发布消息
bin/pulsar-client produce -m "Hello Pulsar!" persistent://my-topic

4.3 消费消息

同样，可以使用客户端工具消费消息。

# 消费消息
bin/pulsar-client consume -s my-subscription persistent://my-topic

5. 总结

至此，您已经成功地在 Linux 环境中搭建了 Pulsar。现在，您可以开始使用 Pulsar 来构建您的流式数据处理应用程序了。