借鉴电商视角，带你弄懂搜索原理与概念

后端

2023-11-03 14:13:30

电商搜索：深入浅出地了解其基本原理

电商搜索 是电子商务平台中的一项至关重要的功能，可帮助用户快速准确地找到他们需要购买的商品。它是一项技术密集型的服务，涉及广泛的概念和原理。

搜索名词概念

理解电商搜索的核心概念至关重要：

文档 (Doc) ：存储在搜索系统中的信息单元，例如商品页面、新闻文章或产品说明。
倒排索引 ：一种数据结构，根据词语快速查找包含它们的文档。
词项权重 ：衡量词语在文档中的重要程度。
BM25 算法 ：一种广泛使用的相关性计算算法，考虑词项权重和文档长度。
相关性 ：衡量文档与搜索查询匹配的程度。
排序模型 ：用于根据相关性、新鲜度和用户体验等因素对文档进行排序的模型。
召回：搜索系统找到与查询相关的所有文档的比例。

搜索排序

搜索排序是搜索系统中至关重要的一步，其目标是将最相关的文档排在搜索结果页面的顶部。排序模型考虑以下因素：

文档相关性 ：根据查询和文档之间的词语匹配程度确定。
文档新鲜度 ：较新的文档通常更受欢迎。
用户体验 ：包括搜索结果页面的布局和结果的显示方式。

电商搜索深度学习

深度学习是一项新兴技术，正在彻底改变电商搜索领域：

搜索排序深度学习 ：使用深度学习模型提高搜索排序的准确性。
搜索召回深度学习 ：使用深度学习模型召回与查询更相关的文档。
搜索相关性深度学习 ：使用深度学习模型更准确地计算文档与查询的相关性。

代码示例

以下 Python 代码展示了使用 BM25 算法计算文档相关性：

import math

def bm25(doc, query):
  """计算文档与查询的相关性。

  参数：
    doc：文档对象。
    query：查询字符串。

  返回：
    文档与查询的相关性。
  """

  # 计算文档长度
  doc_length = len(doc.words)

  # 计算平均文档长度
  avg_doc_length = sum([len(d.words) for d in corpus]) / len(corpus)

  # 计算词项权重
  term_weights = {}
  for word in query.split():
    tf = doc.word_count[word]
    idf = math.log(len(corpus) / (1 + [1 for d in corpus if word in d.words]))
    term_weights[word] = tf * idf

  # 计算相关性
  similarity = sum([term_weights[word] * (math.log(avg_doc_length / doc_length) + 1) for word in term_weights])

  return similarity