玩转kafka控制台的正确姿势，解决“Topic XXX not present in metadata”报错

主题不存在或元数据超时：解决“Topic XXX not present in metadata after 60000 ms”错误

在使用 Kafka 控制台时，您可能会遇到令人沮丧的错误消息：“Topic XXX not present in metadata after 60000 ms”。此错误表明您正在尝试访问的主题在指定的时间段内（在本例中为 60 秒）内不存在元数据中。这意味着该主题可能不存在或已被删除。

原因：主题不存在或元数据超时

此错误消息背后的原因可能有很多，但最常见的两个是：

• 主题不存在： 您可能已尝试访问的主题不存在或已从集群中删除。
• 元数据超时： Kafka 中的元数据会随着时间的推移而更新。如果元数据更新时间超过了指定的超时时间（默认情况下为 60 秒），您可能会收到此错误消息。

解决方案：检查主题并调整元数据超时

要解决此错误，您可以采取以下步骤：

1. 检查主题是否存在： 使用命令 kafka-topics --list 检查该主题是否存在。如果它不存在，您需要重新创建它。
2. 调整元数据超时： 如果主题存在，您可能需要增加元数据超时时间。您可以使用命令 kafka-configs --alter --entity-type topics --entity-name XXX --add-config max.metadata.age.ms=300000 来做到这一点。将超时时间增加到更长的时间（例如 300 秒）可以给元数据更新更多时间。
3. 增加代理数量： 如果上述步骤无法解决问题，您可能需要增加 Kafka 集群中的代理数量。更多代理将有助于更快地复制元数据，从而减少超时错误的可能性。

预防措施：避免“Topic XXX not present in metadata after 60000 ms”错误

为了避免将来出现此错误，您可以采取以下预防措施：

• 定期检查主题： 定期使用命令 kafka-topics --list 检查主题是否存在。
• 增加元数据超时： 将元数据超时时间增加到更长的时间（例如 300 秒）。
• 增加代理数量： 如果可能，增加 Kafka 集群中的代理数量。

代码示例：检查主题是否存在

以下代码示例演示了如何使用命令 kafka-topics --list 检查主题是否存在：

$ kafka-topics --list
__consumer_offsets
_schemas
my-topic

在上面的示例中，主题 my-topic 存在于集群中。

常见问题解答

• 问：为什么会出现“Topic XXX not present in metadata after 60000 ms”错误？

  • 答： 此错误通常是由主题不存在或元数据超时引起的。

• 问：如何解决此错误？

  • 答： 检查主题是否存在，如果不存在，则重新创建它。如果存在，则增加元数据超时时间或增加集群中的代理数量。

• 问：如何防止将来出现此错误？

  • 答： 定期检查主题，增加元数据超时时间和增加集群中的代理数量。

• 问：如何增加元数据超时时间？

  • 答： 使用命令 kafka-configs --alter --entity-type topics --entity-name XXX --add-config max.metadata.age.ms=300000。

• 问：如何增加代理数量？

  • 答： 在 Kafka 集群中添加更多服务器。

通过遵循这些步骤，您应该能够解决“Topic XXX not present in metadata after 60000 ms”错误并避免将来出现该错误。