Elasticsearch：轻松管理索引名称

2023-04-01 18:42:41

利用 Elasticsearch 中的 ingest pipeline 管理索引名称

在信息爆炸的时代，数据管理成为企业发展的重中之重。作为搜索引擎领域的佼佼者，Elasticsearch 以其非凡的性能和灵活的架构广受青睐。其独创性的 ingest pipeline 功能，更让索引管理锦上添花。

什么是 ingest pipeline？

ingest pipeline，即预处理管道，允许您在索引文档之前对其进行一系列操作，如数据清洗、转换、路由和丰富。它就像一个炼金术坩埚，将原始数据提炼成符合索引要求的纯金。通过使用 ingest pipeline，您不仅能简化索引过程，提高效率，更能保障数据的准确性。

用 ingest pipeline 动态管理索引名称

在 Elasticsearch 中，索引名称通常基于文档的时间戳。但随着时间的推移，索引的数量会呈几何级数增长，造成管理上的困扰。为解决此难题，ingest pipeline 中的 date_index_name 处理器应运而生。

date_index_name 处理器能够根据文档的时间戳自动生成索引名称，并支持多种格式。例如，您可以将索引名称格式设置为 "news-{date:yyyy-MM}"，这样新闻文章的索引名称就变成 "news-2023-03"，简洁明了。

date_index_name 处理器配置示例

PUT _ingest/pipeline/my-pipeline
{
  "description": "Date index name pipeline",
  "processors": [
    {
      "date_index_name": {
        "field": "timestamp",
        "format": "yyyy-MM"
      }
    }
  ]
}

在这个配置中，我们创建了一个名为 "my-pipeline" 的 ingest pipeline，并添加了 date_index_name 处理器。该处理器将 "timestamp" 字段作为索引名称的基础，并使用 "yyyy-MM" 格式。

应用 ingest pipeline 到索引

创建好 ingest pipeline 后，需要将其应用到索引中。有两种方法：

在创建索引时指定 ingest pipeline：

PUT /my-index
{
  "settings": {
    "index.lifecycle.rollover_alias": "my-alias",
    "index.lifecycle.management.rollover.max_size": "50gb"
  },
  "mappings": {
    "properties": {
      "timestamp": {
        "type": "date"
      }
    }
  },
  "pipeline": "my-pipeline"
}

在索引模板中指定 ingest pipeline：

PUT /_index_template/my-template
{
  "index_patterns": ["my-index-*"],
  "mappings": {
    "properties": {
      "timestamp": {
        "type": "date"
      }
    }
  },
  "settings": {
    "index.lifecycle.rollover_alias": "my-alias",
    "index.lifecycle.management.rollover.max_size": "50gb"
  },
  "pipeline": "my-pipeline"
}