返回

从更多分片到更少分片，减少Elasticsearch中的分片数量

后端

分析问题及原因

在使用Elasticsearch时，为了提高查询性能或实现数据分布均匀性，经常会采用增加索引分片数的方法。然而，随着业务的发展和数据量的膨胀，过多的分片可能会导致管理复杂度上升、资源开销增大等问题。

分片数量越多，意味着需要维护的文件描述符更多，这会导致操作系统和Elasticsearch自身的性能瓶颈。因此，在某些情况下，减少索引的分片数是必要的优化措施之一。

操作步骤及解决方案

1. 了解现有集群状态

在调整之前，首先查看当前集群中各个索引的健康状态、数据量以及分片信息。

curl -X GET "localhost:9200/_cat/indices?v"

这将输出所有索引的详细信息。注意观察每个索引的总分片数和主分片数。

2. 决定新的分片设置

根据业务需求，决定是否需要减少分片数量，并确定新分片的数量配置。通常会考虑以下因素：

  • 索引的数据量大小。
  • 当前硬件资源情况。
  • 查询性能要求。

假设要将一个索引从5主分片+1副本调整为3主分片+1副本，首先创建一个新的临时索引，并复制旧索引的数据到新索引中。然后，通过重新索引的方式迁移数据：

curl -XPUT 'localhost:9200/new_index' -H "Content-Type: application/json" -d'
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  },
  "mappings": {
    // 复制旧索引的映射设置
  }
}'
3. 使用Reindex API迁移数据

使用Reindex API将老索引的数据迁移到新创建的临时索引中。

curl -XPOST 'localhost:9200/_reindex' -H "Content-Type: application/json" -d'
{
  "source": {
    "index": "old_index"
  },
  "dest": {
    "index": "new_index"
  }
}'
4. 验证数据迁移结果

确保所有数据都已正确迁移到新索引中，可以检查两个索引的文档数量是否一致。

curl -XGET 'localhost:9200/old_index/_count' && curl -XGET 'localhost:9200/new_index/_count'
5. 更新别名并删除旧索引

如果一切正常，更新应用指向新索引的别名，并删除旧索引。

curl -XPOST "localhost:9200/_aliases" -H "Content-Type: application/json" -d '
{
    "actions": [
        {"add":  { "index": "new_index", "alias": "my_alias"}},
        {"remove":{ "index": "old_index", "alias": "my_alias"}}
    ]
}'

然后删除旧索引。

curl -XDELETE 'localhost:9200/old_index'

安全建议

  • 在生产环境中，尽量不要直接在在线服务上操作。先创建备份并测试所有步骤。
  • 考虑到可能的错误或中断情况，请确保有回滚计划。
  • 重新索引过程会消耗大量资源，选择系统负载较低的时间段执行。

通过上述步骤，可以有效减少Elasticsearch中的分片数量，并优化集群性能。注意在实施前充分评估当前环境和需求，避免不必要的风险。