如何高效连接三个数据表并按日期筛选？

mysql

2024-08-02 09:37:49

如何高效地连接三个数据表并按日期筛选数据

在数据分析领域，从多个数据表中提取信息并进行关联分析是家常便饭。当需要按特定条件筛选数据时，高效的查询语句显得尤为重要。本文将以一个实际案例出发，探讨如何连接三个数据表并按日期范围筛选数据，并提供优化建议和代码示例，助你提升数据查询效率。

场景重现

假设我们拥有三个数据表：Movie， Actor 和 Statistics，分别存储了电影信息、演员信息和电影统计数据。我们的目标是生成一份报表，其中包含以下字段：

月份
日期
电影名称
演员名称
好评数量
差评数量
总收入

此外，报表数据需要满足以下条件：

只提取电影名称中包含字母 "S" 的电影数据。
只提取 2013 年 8 月 28 日至 2014 年 9 月 5 日期间的数据。

你可能会尝试使用以下 SQL 查询语句：

UPDATE setlists
SET full_date = STR_TO_DATE(CONCAT(year,'-',month,'-',day), '%Y-%m-%d');

SELECT S.month AS Month, S.day AS Day, M.title AS Name_of_Movie,  A.title AS Name_of_Actor, S.total_pc  AS Total_Positive_Critics, S.total_nc AS Total_Negative_Critics, S.total_revenue AS Total_Revenue
FROM Statistics S
JOIN Movie M ON M.id = S.movie_id
JOIN Actor A ON A.id = S.app_id
WHERE S.full_date BETWEEN '2013-08-28' AND '2014-09-05' AND C.title LIKE '%S%'

这段代码的基本思路是正确的，但存在一些可以优化的地方，使其更加高效和简洁：

优化方案

日期存储方式优化

在原始的 Statistics 表中，日期信息分散在 year，month 和 day 三个字段中，这无疑增加了查询的复杂度。建议在数据表设计阶段就将日期信息存储在一个单独的 date 字段中，并使用合适的日期数据类型。

索引助力查询效率

为频繁参与连接和筛选的字段创建索引，例如 Movie 表的 id 和 title 字段， Actor 表的 id 字段，以及 Statistics 表的 movie_id, actor_id 和 date 字段。索引就好比书籍的目录，可以大幅提升查询速度，尤其是在处理海量数据时。

查询条件优化

将 LIKE 模糊查询条件放在 JOIN 操作之后，可以减少参与匹配的数据量，如同先筛选目标人群再进行问卷调查，效率自然更高。
使用参数化查询代替直接拼接字符串，如同使用标准接口，可以防止 SQL 注入攻击，并提高代码的可读性和可维护性。

基于以上分析，我们可以将 SQL 查询语句优化如下:

SELECT 
    DATE_FORMAT(S.date, '%M') AS Month,
    DATE_FORMAT(S.date, '%d') AS Day,
    M.title AS Name_of_Movie,
    A.title AS Name_of_Actor,
    S.total_pc AS Total_Positive_Critics,
    S.total_nc AS Total_Negative_Critics,
    S.total_revenue AS Total_Revenue
FROM 
    Statistics S
JOIN 
    Movie M ON M.id = S.movie_id
JOIN 
    Actor A ON A.id = S.actor_id
WHERE 
    S.date BETWEEN '2013-08-28' AND '2014-09-05'
    AND M.title LIKE '%S%';