Qdrant 过滤嵌套对象字段：解决方案和常见问题解答

2024-03-26 23:59:53

使用 Qdrant 过滤器处理嵌套对象字段：问题和解决方案

在处理复杂的数据结构时，例如包含嵌套对象字段的数据，过滤数据可能是一项具有挑战性的任务。本文将探究如何使用 Qdrant Python 库高效地过滤具有嵌套对象字段的数据结构。

问题陈述

假设我们有一个数据结构，其 attributes 字段包含以下嵌套对象：

{
  "attributes": [
    {
      "id": 1252,
      "key": "Environment",
      "value": "Casual/Daily"
    },
    {
      "id": 1254,
      "key": "Color",
      "value": "Multicolored"
    },
    {
      "id": 1255,
      "key": "Material",
      "value": "Polyester"
    }
  ]
}

我们的目标是根据 attrs 过滤器（具有以下结构）过滤 attributes 字段：

{
  "1252": ["21727", "21759"],
  "1254": ["52776"]
}

也就是说，我们希望返回包含至少一个在 attrs 过滤器中提供的 attr_id，且该 attr_id 具有 attrs 过滤器中提供的 attr_value_id 之一的文档。

解决方法

为了解决此问题，我们将采取以下步骤：

扁平化 attributes 字段： 我们将嵌套的 attributes 字段扁平化为一个包含键值对的列表，其中键是 attr_id，值是 attr_value_id。
扁平化 attrs 过滤器： 同样，我们将 attrs 过滤器扁平化为一个包含键值对的列表，其中键是 attr_id，值是 attr_value_id 的列表。
使用 MatchAny 过滤器： Qdrant 的 MatchAny 过滤器允许我们匹配一组值中的任何一个。我们将使用此过滤器来检查 flattened_attributes 字段中是否存在 flattened_attrs 过滤器中提供的 attr_id，以及该 attr_id 是否具有 flattened_attrs 过滤器中提供的 attr_value_id 之一。

代码实现

以下 Python 代码展示了使用 Qdrant Python 库实现上述解决方案：

import models

def filter_nested_object_fields(qd_client, query_vector, attrs, limit):
    # 扁平化 attributes 字段
    flattened_attributes = []
    for attribute in qd_client.get_collection_info("lang1_products").schema["attributes"]:
        flattened_attributes.append({attribute["id"]: attribute["attribute_value_id"]})

    # 扁平化 attrs 过滤器
    flattened_attrs = []
    for attr_id, attr_value_ids in attrs.items():
        for attr_value_id in attr_value_ids:
            flattened_attrs.append({attr_id: int(attr_value_id)})

    # 创建过滤器列表
    filters_list = []

    # 使用 MatchAny 过滤器过滤 attributes 字段
    for flattened_attr in flattened_attrs:
        filter = models.FieldCondition(
            key=f"flattened_attributes.{list(flattened_attr.keys())[0]}.attr_value_id",
            match=models.MatchAny(any=[list(flattened_attr.values())[0]]),
        )
        filters_list.append(filter)

    # 执行搜索
    search_results = qd_client.search(
        query_filter=models.Filter(must=filters_list),
        collection_name="lang1_products",
        query_vector=query_vector,
        search_params=models.SearchParams(hnsw_ef=128, exact=False),
        limit=limit,
    )

    return search_results