超详细Logstash配置文件语法解读,带你轻松掌握新框架配置

2023-02-17 06:36:30

Logstash 配置文件：指南和最佳实践

Logstash 是一个强大的数据处理引擎，可帮助你管理和分析海量数据。其配置文件决定了 Logstash 如何收集、过滤和存储数据，掌握其语法对于充分利用 Logstash 至关重要。

输入

输入部分定义 Logstash 数据源。以下是常见选项：

file： 从文件中读取数据。
stdin： 从标准输入中读取数据。
syslog： 从 Syslog 服务器接收数据。

input {
  file {
    path => "/var/log/messages"
  }
}

过滤器

过滤器对数据进行操作和转换。以下是常见过滤器：

grok： 将非结构化数据解析为结构化数据。
mutate： 修改字段值。
drop： 删除字段。

filter {
  grok {
    match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:hostname} %{DATA:logmessage}" }
  }
}

输出

输出部分定义了数据处理后的目的地。以下是常见选项：

elasticsearch： 将数据写入 Elasticsearch 集群。
stdout： 将数据写入标准输出。
file： 将数据写入文件。

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
}

示例配置文件

input {
  file {
    path => "/var/log/messages"
  }
}
filter {
  grok {
    match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:hostname} %{DATA:logmessage}" }
  }
  mutate {
    add_field => { "type" => "syslog" }
  }
  drop {
    field => "logmessage"
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
}