为您的多账户部署跨账户收集应用日志：使用 Amazon Kinesis Data Streams 和 Fluent Bit

前端

2023-10-12 02:02:30

在现代云架构中，将应用程序拆分为微服务已成为一种常见做法。这些微服务通常分布在多个 AWS 账户中，以实现更好的隔离、安全性和成本控制。然而，这种分散的架构给集中式日志收集带来了挑战。

使用 Amazon Kinesis Data Streams 和 Fluent Bit 进行跨账户日志收集

Amazon Kinesis Data Streams 是一种托管式服务，用于实时处理和存储流式数据。它提供了可靠、可扩展且耐用的解决方案，非常适合收集和集中式存储应用程序日志。

Fluent Bit 是一个轻量级、高性能的数据收集器，可以从各种来源收集日志和其他数据。它与 Amazon Kinesis Data Streams 集成，使其成为在多账户部署中收集日志的理想选择。

步骤

1. 设置 AWS 凭证和角色

每个收集日志的账户都需要一个具有适当 IAM 权限的角色。此角色应允许将日志流发送到 Kinesis 数据流。

2. 安装 Fluent Bit

在每个需要收集日志的 EC2 实例或容器上安装 Fluent Bit。有关说明，请参阅 Fluent Bit 文档。

3. 配置 Fluent Bit

使用以下配置片段配置 Fluent Bit：

[INPUT]
    Name tail
    Path /var/log/application.log
    Tag application.log
    Parser json

[FILTER]
    Name record_modifier
    Match application.log
    Record application.log_timestamp ${record["@timestamp"]}

[OUTPUT]
    Name kinesis
    Match application.log
    Broker AWS_REGION.kinesis.amazonaws.com:443
    TLS On
    TLS.Verify Off
    Region AWS_REGION
    StreamName my-kinesis-stream
    AWS.Credentials.AssumeRoleArn arn:aws:iam::123456789012:role/my-role
    AWS.Credentials.RoleSessionName my-role-session