一文读懂 Kafka 中的 listeners、advertised.listeners 与其他通信配置

2023-12-01 07:03:22

传遍万户的协调者 —— 论 Kafka 里的 listeners 和 advertised.listeners 以及其他相关配置

随着数据变得愈发庞大、应用程序变得愈发复杂，企业不得不寻求更强大的工具来满足他们的需求。Apache Kafka 应运而生，作为一种分布式流处理平台，Kafka 能满足高吞吐量和低延迟的消息传输需求。本文将深入剖析 Kafka 中的 listeners、advertised.listeners 及其他通信配置，助您从容应对各种复杂的通信场景。

1. listeners：本机通信端口

Apache Kafka 的 listeners 配置用于指定本机侦听的端口，用于接收来自其他 Kafka 节点的网络请求。在 Kafka 集群中，每个节点都必须拥有唯一且可访问的监听器端口。listeners 配置通常被指定在 server.properties 文件中。

2. advertised.listeners：对外宣布的端口

advertised.listeners 配置用于指定对外宣布的监听器端口，用于与其他 Kafka 集群通信。这通常与 listeners 配置相同，但也可能不同。当 Kafka 节点需要与外部网络通信时，它会使用 advertised.listeners 配置中的端口。

3. 其他通信配置

除了 listeners 和 advertised.listeners 配置之外，Kafka 还提供了许多其他通信配置选项，以满足各种复杂的通信场景。这些配置项包括：

socket.send.buffer.bytes：发送缓冲区的字节数。
socket.receive.buffer.bytes：接收缓冲区的字节数。
socket.request.max.bytes：单个请求的最大字节数。
socket.timeout.ms：套接字超时时间，以毫秒为单位。
connections.max.idle.ms：连接的最大空闲时间，以毫秒为单位。

4. 使用场景与最佳实践

了解了 Kafka 的通信配置之后，我们现在来看看这些配置在实际应用中的场景和最佳实践。

多网络环境： 当 Kafka 集群跨越多个网络时，可以使用 advertised.listeners 配置来指定不同的监听器端口，以便每个节点都能与其他节点通信。
安全性： 为了确保通信的安全，可以使用 SSL/TLS 加密来保护 Kafka 集群。这可以通过配置 security.protocol 和 ssl.* 配置项来实现。
高可用性： 为了实现高可用性，可以使用多个监听器端口并启用故障转移机制。当某个监听器端口出现故障时，Kafka 会自动切换到另一个监听器端口。这可以通过配置 listeners 和 auto.create.listeners 配置项来实现。