落地实践： Prometheus 监控经验分享

2023-10-01 13:40:27

前言
提到TiDB的监控，大家第一时间想到的就是 Prometheus 和 Grafana，这两个已经是非常成熟的监控产品了，相信大家都有一定的了解。

那么这里对于 Prometheus 和 Grafana 的简单介绍就不做过多赘述了，本文主要分享 Prometheus 监控的落地实践经验，从 Prometheus 的选型、部署、配置，到告警、数据持久化等内容进行全方位解析，帮助您快速上手 Prometheus 监控。

Prometheus 介绍

Prometheus 是一个开源的监控系统，它采用拉取方式采集监控数据，并存储在本地的时间序列数据库中。Prometheus 的主要特点包括：

多维数据模型：Prometheus 使用标签来对监控数据进行分类，这使得它可以非常灵活地进行数据查询和聚合。
拉取方式采集数据：Prometheus 通过主动拉取的方式从被监控目标收集数据，这使得它非常适合监控分布式系统。
本地存储数据：Prometheus 将监控数据存储在本地的时间序列数据库中，这使得它可以提供快速的查询和分析。
丰富的报警功能：Prometheus 提供了丰富的报警功能，包括阈值报警、预测报警和异常检测报警等。
开源和社区支持：Prometheus 是一个开源项目，拥有活跃的社区支持，这使得它不断得到改进和更新。

Prometheus 应用场景

Prometheus 可以用于监控各种类型的系统，包括：

分布式系统：Prometheus 非常适合监控分布式系统，因为它可以主动拉取数据，并且支持多维数据模型。
云平台：Prometheus 可以用于监控云平台上的各种资源，包括虚拟机、容器和网络设备等。
应用性能：Prometheus 可以用于监控应用性能，包括响应时间、吞吐量和错误率等。
基础设施：Prometheus 可以用于监控基础设施，包括服务器、交换机和路由器等。

Prometheus 部署

Prometheus 的部署非常简单，它可以在单机上部署，也可以在分布式环境中部署。

单机部署

Prometheus 的单机部署非常简单，只需下载 Prometheus 的二进制包，然后运行即可。

# 下载 Prometheus 二进制包
wget https://github.com/prometheus/prometheus/releases/download/v2.35.0/prometheus-2.35.0.linux-amd64.tar.gz

# 解压二进制包
tar -zxvf prometheus-2.35.0.linux-amd64.tar.gz

# 运行 Prometheus
cd prometheus-2.35.0.linux-amd64
./prometheus

分布式部署

Prometheus 的分布式部署需要使用 Prometheus Operator 来管理 Prometheus 集群。Prometheus Operator 是一个 Kubernetes Operator，它可以自动管理 Prometheus 集群的创建、扩展和故障恢复等操作。

# 安装 Prometheus Operator
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

# 安装 Prometheus
helm install prometheus prometheus-community/prometheus

Prometheus 配置

Prometheus 的配置非常灵活，您可以根据需要进行各种配置。

Prometheus 的主要配置文件是prometheus.yml，它位于 Prometheus 的安装目录下。

# Prometheus 配置文件
global:
  scrape_interval: 1m # 采集间隔
  evaluation_interval: 1m # 评估间隔

scrape_configs:
  - job_name: 'node_exporter' # 任务名称
    static_configs:
      - targets: ['localhost:9100'] # 采集目标

Prometheus 告警

Prometheus 提供了丰富的报警功能，包括阈值报警、预测报警和异常检测报警等。

Prometheus 的报警规则配置文件是alertmanager.yml，它位于 Prometheus 的安装目录下。

# Prometheus 报警规则配置文件
global:
  smtp_smarthost: 'smtp.example.com:25' # SMTP 服务器地址
  smtp_from: 'prometheus@example.com' # 发件人地址

route:
  group_by: ['alertname']
  receiver: 'email'

receivers:
  - name: 'email'
    email_configs:
      - to: 'user@example.com' # 收件人地址