借助 HanLP 实现 ES 高效中文分词，让搜索更得心应手

2023-11-25 08:11:22

基于 HanLP 实现 Elasticsearch 中文分词

在当今数字时代，高效且准确地搜索信息至关重要，特别是对于中文内容。Elasticsearch 作为一款强大的分布式搜索引擎，因其强大的搜索功能和可扩展性而备受青睐。然而，对于中文搜索而言，Elasticsearch 的默认分词器却存在不足，因为它无法有效地将中文文本分解成有意义的词元，从而影响搜索结果的准确性。

HanLP：中文自然语言处理神器

HanLP 是一款功能强大的中文自然语言处理工具包，它提供了一系列中文分词算法，可以准确地将中文文本分解成有意义的词元。通过将 HanLP 集成到 Elasticsearch 中，我们可以显著提高中文搜索的准确性，让搜索变得更加得心应手。

基于 HanLP 实现 ES 中文分词的步骤

1. 安装 HanLP

首先，您需要在服务器上安装 HanLP。从 HanLP 官网下载最新版本的 HanLP，并按照安装说明进行安装。

2. 安装 ES-HanLP 插件

接下来，您需要安装 ES-HanLP 插件。ES-HanLP 插件是一个开源项目，它提供了将 HanLP 集成到 Elasticsearch 的功能。从 ES-HanLP 官网下载最新版本的 ES-HanLP 插件，并按照安装说明进行安装。

3. 配置 ES-HanLP 插件

安装完成后，您需要配置 ES-HanLP 插件。通过修改 Elasticsearch 的配置文件（elasticsearch.yml）来配置 ES-HanLP 插件，在配置文件中添加以下内容：

elasticsearch.plugin.mandatory: es-hanlp

4. 重新启动 Elasticsearch

配置完成后，重新启动 Elasticsearch 以使配置生效。

5. 创建中文分词器

重新启动 Elasticsearch 后，就可以创建中文分词器了。

登录 Elasticsearch 控制台。
选择“索引”选项卡。
单击“创建索引”按钮。
在“索引名称”字段中输入索引名称。
在“分词器”字段中选择“hanlp”。
单击“创建”按钮。

6. 测试中文分词器

创建中文分词器后，可以测试它是否工作正常。

登录 Elasticsearch 控制台。
选择“索引”选项卡。
单击您刚创建的索引名称。
在“文档”选项卡中，单击“添加文档”按钮。
在“字段”字段中输入“content”。
在“值”字段中输入一段中文文本。
单击“添加”按钮。
在“搜索”选项卡中，输入您刚输入的中文文本。
单击“搜索”按钮。

如果中文分词器工作正常，您应该能够看到搜索结果。

代码示例

PUT my_index
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "hanlp": {
            "type": "hanlp",
            "tokenizer": "hanlp_tokenizer",
            "filter": ["hanlp_lowercase"]
          }
        },
        "tokenizer": {
          "hanlp_tokenizer": {
            "type": "hanlp",
            "segmenter": "hanlp_tokenizer"
          }
        },
        "filter": {
          "hanlp_lowercase": {
            "type": "lowercase"
          }
        }
      }
    }
  }
}