披荆斩棘：从存储负担中解放，提升ElasticSearch读写效率

2024-01-13 17:13:50

业务在使用ElasticSearch（ES）集群读取数据时，如果同时向ES集群写入任务，可能会遇到响应时间（RT）增加的情况，特别是当计算框架大量增加并发度时，ES集群会出现抖动。本文将从存储方案、索引策略、查询优化、数据分片等方面入手，为您提供优化ES集群读写效率的解决方案。

存储方案优化

1. 合理选择存储类型

ES提供了多种存储类型，包括heap、mmap、niofs等。不同存储类型具有不同的特点和性能表现。在实际应用中，应根据业务场景和数据特点选择合适的存储类型。例如，对于需要快速写入和读取数据的场景，可以选择heap存储类型；对于需要持久化存储数据的场景，可以选择mmap或niofs存储类型。

2. 合理配置存储参数

ES提供了多种存储参数，如index.store.type、index.store.compress.stored、index.store.compress.docvalues等。这些参数可以影响ES的存储性能和空间占用。在实际应用中，应根据业务场景和数据特点合理配置存储参数。例如，对于需要快速写入和读取数据的场景，可以将index.store.compress.stored和index.store.compress.docvalues设置为false，以提高存储速度；对于需要持久化存储数据的场景，可以将index.store.type设置为mmap或niofs，以提高存储可靠性。

索引策略优化

1. 合理设计索引结构

ES的索引结构包括分片、副本和路由等。合理设计索引结构可以提高ES的查询性能和写入性能。在实际应用中，应根据业务场景和数据特点合理设计索引结构。例如，对于需要快速写入和读取数据的场景，可以将分片数设置得较大，以提高写入性能；对于需要快速查询数据的场景，可以将副本数设置得较大，以提高查询性能。

2. 合理使用索引类型

ES提供了多种索引类型，包括standard、doc、object等。不同索引类型具有不同的特点和性能表现。在实际应用中，应根据业务场景和数据特点选择合适的索引类型。例如，对于需要快速写入和读取数据的场景，可以选择doc索引类型；对于需要存储复杂数据结构的场景，可以选择object索引类型。

3. 合理使用分词器

分词器是ES用来将文本字段拆分成词条的工具。ES提供了多种分词器，如standard、keyword、nGram等。不同分词器具有不同的分词规则和性能表现。在实际应用中，应根据业务场景和数据特点选择合适的分词器。例如，对于需要快速查询文本字段的场景，可以选择standard分词器；对于需要精确查询文本字段的场景，可以选择keyword分词器。

查询优化

1. 合理使用查询类型

ES提供了多种查询类型，如term、match、range等。不同查询类型具有不同的查询规则和性能表现。在实际应用中，应根据业务场景和数据特点选择合适的查询类型。例如，对于需要精确查询某个字段的场景，可以选择term查询类型；对于需要模糊查询某个字段的场景，可以选择match查询类型。

2. 合理使用过滤器

过滤器是用来过滤查询结果的工具。ES提供了多种过滤器，如term、range、prefix等。不同过滤器具有不同的过滤规则和性能表现。在实际应用中，应根据业务场景和数据特点选择合适的过滤器。例如，对于需要过滤某个字段的精确值，可以选择term过滤器；对于需要过滤某个字段的范围值，可以选择range过滤器。

3. 合理使用排序

排序是用来对查询结果进行排序的工具。ES提供了多种排序方式，如score、field、geo_distance等。不同排序方式具有不同的排序规则和性能表现。在实际应用中，应根据业务场景和数据特点选择合适的排序方式。例如，对于需要根据某个字段的得分对查询结果进行排序，可以选择score排序方式；对于需要根据某个字段的值对查询结果进行排序，可以选择field排序方式。