PostgreSQL + Spring Boot搭建轻量级全文检索案例实践

2023-10-22 21:54:44

项目挑战：如何更高效地让用户搜索信息？

我们日常使用搜索引擎早已习以为常。可以想象如果去掉了搜索，我们将丧失效率。而现在一个问题摆在了我们的面前：如何创建/升级一个搜索引擎？
首先，我们必须面对现实的是，我们既不拥有谷歌、微软那样的庞大数据集，也没有属于自己的尖端技术。从这个角度看，就不得不考虑轻量级全文检索方案。

Spring Boot + PostgreSQL 实现全文搜索的可行性分析

我们知道最著名的开源搜索引擎软件有 ElasticSearch、Sphinx、Solr。它们提供的功能都很全面，包括分布式、扩展、容错等，但各自在数据导入、索引构建、查询性能、集群运维上不尽如人意。

我们来设想一下全文检索系统的工作流程：

对数据进行预处理：对数据进行分词和词干分析。
将数据添加到索引中：索引通常由数据记录的属性和组成。
在索引中搜索：通过匹配搜索词和索引中的关键字来实现。
返回搜索结果：根据匹配度对结果进行排序，并将结果返回给用户。

Spring Boot是一个用于构建Java应用程序的开源框架。PostgreSQL是一个功能强大的开源关系型数据库管理系统。我们将使用Spring Boot和PostgreSQL作为我们的技术栈来构建轻量级全文检索系统。

落地实施

配置PostgreSQL全文搜索扩展

-- 创建全文搜索扩展
CREATE EXTENSION pg_trgm;

-- 创建文本搜索向量列
ALTER TABLE users
ADD COLUMN search_vector tsvector;

-- 使用GIN索引对文本搜索向量列进行索引
CREATE INDEX idx_users_search_vector ON users
USING gin(search_vector);

创建Spring Boot应用程序

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.data.jpa.repository.JpaRepository;
import org.springframework.web.bind.annotation.*;

import javax.persistence.*;
import java.util.List;

@SpringBootApplication
public class FullTextSearchApplication {

    public static void main(String[] args) {
        SpringApplication.run(FullTextSearchApplication.class, args);
    }
}

@Entity
public class User {

    @Id
    @GeneratedValue
    private Long id;

    private String name;

    // 使用PostgreSQL原生数据类型tsvector存储文本搜索向量
    @Column(columnDefinition = "tsvector")
    private String searchVector;

    // 省略其他字段和方法
}

// Spring Data JPA仓库接口
interface UserRepository extends JpaRepository<User, Long> {

    List<User> findBySearchVectorContaining(String searchTerm);
}

@RestController
@RequestMapping("/api/users")
class UserController {

    private final UserRepository userRepository;

    UserController(UserRepository userRepository) {
        this.userRepository = userRepository;
    }

    @GetMapping("/search")
    List<User> search(@RequestParam String searchTerm) {
        return userRepository.findBySearchVectorContaining(searchTerm);
    }
}