使用 Elasticsearch 按类型删除分词

后端

2023-11-30 02:50:32

在之前的文章中，我深入探讨了 Elasticsearch 中分词器的工作原理，以及如何使用分词器中的过滤器来微调分词过程。今天，我将继续讨论分词器过滤器，重点关注 type 过滤器，该过滤器允许您根据分词类型删除分词。

了解 `type` 过滤器

type 过滤器是一种分词器过滤器，可让您根据分词的类型来删除分词。分词类型是由分词器分配给分词的标签，用于标识分词的性质。例如，一个分词器可能会将单词 "run" 分词为以下类型：

单词
名词
动词

type 过滤器允许您指定要删除的分词类型。例如，如果您只想保留单词类型分词，则可以将 type 过滤器配置为删除所有其他类型分词。

配置 `type` 过滤器

要配置 type 过滤器，您需要在分词器定义中指定 type 参数。该参数接受一个分词类型列表，这些类型将被删除。

以下示例演示如何配置 type 过滤器以删除所有非单词类型分词：

{
  "type": "stop",
  "stopwords": "_none_",
  "type_table": {
    "type": "mapping",
    "mappings": [
      {
        "match": "word",
        "remove": true
      }
    ]
  }
}

使用 `type` 过滤器

配置 type 过滤器后，您就可以在索引或搜索请求中使用它。

要在索引请求中使用 type 过滤器，请将其添加到分词器定义中。以下示例演示如何向索引请求添加 type 过滤器：

{
  "index": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "stop",
            "type"
          ]
        }
      }
    }
  }
}

要在搜索请求中使用 type 过滤器，请将其添加到查询中。以下示例演示如何向搜索请求添加 type 过滤器：

{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "body": "This is a test"
          }
        },
        {
          "type": {
            "value": "word"
          }
        }
      ]
    }
  }
}