探索 Fleet 的强大：在 Elastic Stack 中轻松摄入系统日志和指标

2023-09-06 01:45:18

在当今快速发展的数字时代，可观察性已成为确保应用程序和基础设施平稳运行的关键因素。Elastic Stack 作为业界领先的可观察性平台，凭借其强大的数据收集、分析和可视化能力，一直受到广大用户的青睐。随着 Fleet 的引入，Elastic Stack 的数据摄取能力再次得到显著增强，为用户提供了更加便捷、高效的方式来摄取系统日志和指标。

Fleet 是一款轻量级、开源的数据摄取工具，可轻松安装和配置在各种操作系统上。它支持多种数据源，包括系统日志、指标、事件和 Kubernetes 事件等。Fleet 可以自动发现和管理代理，并具有强大的数据处理和过滤功能，使您可以轻松地将所需的数据摄入到 Elastic Stack 中。

在本文中，我们将介绍如何使用 Fleet 将系统日志和指标摄入到 Elastic Stack 中。我们将从 Fleet 的安装和配置开始，然后演示如何使用 Fleet 将系统日志和指标摄取到 Elastic Stack 中。最后，我们将讨论 Fleet 的一些高级功能，例如数据处理和过滤，以及如何使用这些功能来优化您的数据摄取过程。

Fleet 的安装和配置

Fleet 的安装和配置非常简单。首先，您需要在要安装 Fleet 的机器上下载并安装 Fleet 的 DEB 或 RPM 包。接下来，您需要配置 Fleet 的配置文件，以指定要摄取的数据源和输出目标。最后，您需要启动 Fleet 服务。有关 Fleet 安装和配置的详细说明，请参阅 Elastic 的官方文档。

使用 Fleet 将系统日志摄取到 Elastic Stack

要使用 Fleet 将系统日志摄取到 Elastic Stack 中，您需要创建一个 Fleet 数据流。数据流定义了要摄取的数据源和输出目标。在 Fleet 的配置文件中，您可以配置数据流的名称、数据源和输出目标。

对于系统日志，您可以使用 Fleet 将 syslog、journald 和 Windows 事件日志等数据源摄取到 Elastic Stack 中。要配置系统日志数据流，您需要指定数据源的类型、主机名或 IP 地址以及端口号。

例如，以下配置将创建一个名为“syslog-data-stream”的数据流，该数据流将从主机名为“localhost”的机器上摄取 syslog 日志：

  - type: syslog
    name: syslog-data-stream
    config:
      hosts: ["localhost"]
      port: 514

使用 Fleet 将指标摄取到 Elastic Stack

要使用 Fleet 将指标摄取到 Elastic Stack 中，您需要创建一个 Fleet 指标管道。指标管道定义了要摄取的指标数据源和输出目标。在 Fleet 的配置文件中，您可以配置指标管道的名称、数据源和输出目标。

对于指标，您可以使用 Fleet 将 Prometheus、Graphite 和 InfluxDB 等数据源摄取到 Elastic Stack 中。要配置指标管道，您需要指定数据源的类型、主机名或 IP 地址以及端口号。

例如，以下配置将创建一个名为“prometheus-data-stream”的指标管道，该指标管道将从主机名为“localhost”的机器上摄取 Prometheus 指标：

  - type: prometheus
    name: prometheus-data-stream
    config:
      hosts: ["localhost"]
      port: 9090

Fleet 的高级功能

除了基本的数据摄取功能外，Fleet 还提供了一些高级功能，例如数据处理和过滤。您可以使用这些功能来优化您的数据摄取过程，并确保只有相关的数据被摄入到 Elastic Stack 中。

数据处理

Fleet 提供了多种数据处理功能，包括数据过滤、数据转换和数据聚合等。您可以使用这些功能来处理数据，使其更易于分析和可视化。

例如，以下配置将创建一个名为“filtered-data-stream”的数据流，该数据流将从“syslog-data-stream”数据流中过滤掉所有包含“error”的日志：

  - type: filter
    name: filtered-data-stream
    config:
      input_stream: syslog-data-stream
      filters:
        - exclude:
            message: "error"

数据过滤

Fleet 提供了多种数据过滤功能，包括正则表达式过滤、字段过滤和范围过滤等。您可以使用这些功能来过滤掉不相关的数据，并确保只有相关的数据被摄入到 Elastic Stack 中。

例如，以下配置将创建一个名为“filtered-data-stream”的数据流，该数据流将从“syslog-data-stream”数据流中过滤掉所有包含“error”关键字的日志：

  - type: filter
    name: filtered-data-stream
    config:
      input_stream: syslog-data-stream
      filters:
        - exclude:
            message: "error"