告别告警盲区：用Go语言+飞书打造告警通知系统

2023-09-15 21:56:59

Alertmanager告警通知：通过飞书实时掌控系统健康状况

引言

在当今数字化时代，企业依赖复杂的IT系统来运营其业务。然而，这些系统经常会遇到故障或性能瓶颈，如果不及时解决，可能会导致严重的业务损失。为了避免这种情况，告警通知系统是至关重要的。

Alertmanager与Prometheus：告警监控的基石

Alertmanager和Prometheus是业界领先的告警监控解决方案。Prometheus负责收集和存储系统指标数据，而Alertmanager则对这些数据进行分析，并根据预定义的规则生成告警信息。然而，Alertmanager默认只能通过电子邮件或PagerDuty等方式发送告警信息，这对于需要在手机上接收告警的人员来说不够方便。

飞书集成：实时接收告警，及时响应

为了解决这个问题，我们可以使用Go语言编写一个web服务，用于接受Alertmanager的webhook请求，并调用飞书的web服务发送告警信息。通过这种方式，我们可以直接在飞书APP上接收告警信息，并立即采取行动。

实现步骤

1. 创建Go语言Web服务

package main

import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "os"

    "github.com/feishu/go-sdk/v4/bot"
)

const (
    feishuWebhookURL = "https://open.feishu.cn/open-apis/bot/v2/hook/xxxxxxx"
    feishuSecretKey = "xxxxxxxx"
)

func main() {
    http.HandleFunc("/webhook", webhookHandler)

    port := os.Getenv("PORT")
    if port == "" {
        port = "8080"
    }

    log.Printf("Listening on port %s", port)
    if err := http.ListenAndServe(":"+port, nil); err != nil {
        log.Fatal(err)
    }
}

func webhookHandler(w http.ResponseWriter, r *http.Request) {
    defer r.Body.Close()

    body, err := ioutil.ReadAll(r.Body)
    if err != nil {
        log.Printf("Error reading request body: %v", err)
        http.Error(w, "Bad Request", http.StatusBadRequest)
        return
    }

    var alertmanagerAlert AlertmanagerAlert
    if err := json.Unmarshal(body, &alertmanagerAlert); err != nil {
        log.Printf("Error parsing request body: %v", err)
        http.Error(w, "Bad Request", http.StatusBadRequest)
        return
    }

    feishuMessage := bot.Message{
        MsgType: "text",
        Content: bot.Text{
            Text: fmt.Sprintf("告警级别：%s\n告警名称：%s\n告警%s", alertmanagerAlert.CommonAnnotations["level"], alertmanagerAlert.CommonLabels["alertname"], alertmanagerAlert.CommonAnnotations["description"]),
        },
    }

    client, err := bot.NewClient(feishuWebhookURL, feishuSecretKey)
    if err != nil {
        log.Printf("Error creating Feishu client: %v", err)
        http.Error(w, "Internal Server Error", http.StatusInternalServerError)
        return
    }

    if _, err := client.Send(feishuMessage); err != nil {
        log.Printf("Error sending Feishu message: %v", err)
        http.Error(w, "Internal Server Error", http.StatusInternalServerError)
        return
    }

    w.WriteHeader(http.StatusOK)
}

type AlertmanagerAlert struct {
    CommonAnnotations map[string]string `json:"commonAnnotations"`
    CommonLabels     map[string]string `json:"commonLabels"`
}

2. 配置Alertmanager

route:
  receiver: 'webhook-feishu'
receivers:
- name: 'webhook-feishu'
  webhook_configs:
  - send_resolved: true
    url: 'http://localhost:8080/webhook'

3. 运行Web服务

go run main.go

4. 测试告警通知功能

触发一个告警，例如：

- alert: MyAlert
  expr: node_memory_MemFree < 100e6
  for: 10m
  labels:
    severity: critical
  annotations:
    summary: "Node {{ $labels.instance }} is running out of memory"
    description: "The free memory on node {{ $labels.instance }} is below 100MB."