Elasticsearch：利用 Docker Compose 搭建热温冷架构集群

导言

在 Elasticsearch 的实际应用中，索引通常会随着时间的推移而变冷。为了优化集群性能和资源利用率，采用热温冷架构至关重要。本篇文章将深入探讨如何利用 Docker Compose 搭建一个包含热、温、冷节点的 Elasticsearch 集群，从而模拟索引生命周期管理。

Docker Compose 简介

Docker Compose 是一个定义和运行多容器 Docker 应用程序的工具。它允许您使用一个 YAML 文件来定义您的应用程序所需的所有服务，并通过一个命令轻松地启动和停止它们。

搭建热温冷架构集群

1. 创建 Docker Compose 文件

创建名为 docker-compose.yml 的文件，并添加以下内容：

version: "3.7"

services:
  hot:
    image: elasticsearch:7.10.1
    container_name: es-hot
    volumes:
      - ./data/hot:/usr/share/elasticsearch/data
  warm:
    image: elasticsearch:7.10.1
    container_name: es-warm
    volumes:
      - ./data/warm:/usr/share/elasticsearch/data
  cold:
    image: elasticsearch:7.10.1
    container_name: es-cold
    volumes:
      - ./data/cold:/usr/share/elasticsearch/data

此文件定义了三个容器：hot、warm 和 cold，它们都运行 Elasticsearch 7.10.1 镜像。每个容器都挂载了自己的数据卷，以模拟不同温度的索引。

2. 运行 Docker Compose

运行以下命令来启动集群：

docker-compose up -d

这将在后台启动三个 Elasticsearch 容器。

3. 配置热温冷设置

要配置热温冷设置，请执行以下步骤：

• 打开 Kibana（http://localhost:5601），并转到“管理”选项卡。
• 单击“索引模板”选项卡。
• 创建三个索引模板：hot、warm 和 cold。
• 为每个模板配置相应的热温冷策略。

测试热温冷架构

1. 创建索引

在热节点上创建一些索引：

curl -XPUT 'http://localhost:9200/hot-index'

2. 模拟索引老化

使用 Elasticsearch 的索引生命周期管理 (ILM) API 来模拟索引老化：

curl -XPUT 'http://localhost:9200/_ilm/policy/my-ilm-policy' -H 'Content-Type: application/json' -d'
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_age": "1d"
          }
        }
      },
      "warm": {
        "actions": {
          "rollover": {
            "max_age": "30d"
          }
        }
      },
      "cold": {
        "actions": {
          "set_read_only": {}
        }
      }
    }
  }
}

3. 检查索引状态

使用以下命令检查索引状态：

curl 'http://localhost:9200/_cat/indices?v'

您应该会看到索引已迁移到相应的热温冷节点。

结论

本篇文章指导您利用 Docker Compose 搭建了一个热温冷架构的 Elasticsearch 集群，从而模拟索引生命周期管理。通过配置热温冷策略和使用 ILM API，您可以轻松地管理索引的生命周期，从而优化集群性能和资源利用率。