ELK搭建（四）：监控mysql慢查询、错误日志与系统状态信息

2023-10-19 06:42:16

1. 前言

MySQL是当今世界上最流行的关系型数据库管理系统之一，被广泛应用于各种规模的企业中，而ELK是一个流行的开源日志分析工具，能够收集、处理和可视化来自不同来源的数据。MySQL和ELK的结合可以为数据库管理员和运维人员提供强大而全面的监控和分析工具。

2. ELK 简介

ELK是一个开源的日志分析工具，可以收集、处理和可视化来自不同来源的数据。ELK工具包由三个主要组件组成：

Elasticsearch：一个分布式搜索和分析引擎，可以存储和检索大数据量的数据。
Logstash：一个数据收集引擎，可以从各种来源收集数据，并将其传输到Elasticsearch。
Kibana：一个用户界面，可以可视化和探索Elasticsearch中的数据。

3. 搭建ELK环境

在搭建ELK环境之前，您需要确保满足以下先决条件：

一台或多台服务器，用于运行ELK组件。
安装并配置好Java环境。
安装并配置好Elasticsearch、Logstash和Kibana。
配置好防火墙规则，允许ELK组件之间的通信。

4. 配置MySQL数据库

为了让ELK能够监控MySQL数据库，您需要在MySQL数据库上启用慢查询日志和错误日志。

启用慢查询日志

[mysqld]
slow_query_log=1
slow_query_log_file=/var/log/mysql/slow.log

启用错误日志

[mysqld]
log-error=/var/log/mysql/error.log

5. 配置Logstash

Logstash负责从MySQL数据库收集日志并将其传输到Elasticsearch。

创建Logstash配置文件

input {
  file {
    path => "/var/log/mysql/slow.log"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
  file {
    path => "/var/log/mysql/error.log"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}

filter {
  grok {
    match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:host} %{DATA:log}" }
  }
  date {
    match => [ "timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "mysql-logs"
  }
}