让hive高级查询(2)拨开迷雾：史上最全实用指南

后端

2023-02-23 04:20:48

揭秘 Hive 窗口子句：掌握高级查询技巧

探索数据奥秘，掌控业务脉搏

Hive 窗口子句是数据分析领域的一把利器，它能让你超越基本查询，洞悉数据中更深层次的见解。通过窗口子句，你可以对数据进行分组、排序和聚合，从而挖掘出隐藏的模式和趋势。

窗口子句概览

窗口子句是通过在查询中添加 OVER() 函数来实现的。这个函数就像一张滤镜，它可以让数据在指定的范围内展现出不同寻常的一面。

窗口子句包含四个关键元素：

分区依据 (PARTITION BY)： 指定将数据分组的列。
排序规则 (ORDER BY)： 指明对分组内数据进行排序的方式。
窗口范围 (WINDOW FRAME)： 定义数据活动发生的范围。
窗口函数 (WINDOW FUNCTION)： 赋予数据新含义的函数。

窗口函数类型

Hive 提供了多种窗口函数，每种函数都有其独特的功能：

1. 排名函数

row_number()： 为每个数据分配唯一的排名。
rank()： 为数据分配排名，并列数据获得相同排名。
dense_rank()： 为数据分配排名，并列数据获得更高的排名。

2. 聚合函数

count()： 计算分组内数据的数量。
max()： 获取分组内数据中的最大值。
min()： 获取分组内数据中的最小值。
sum()： 对分组内数据进行求和。
avg()： 计算分组内数据的平均值。

3. 分析函数

lead()： 获取后续数据的值。
lag()： 获取前序数据的值。
first_value()： 获取分组内第一个数据的值。
last_value()： 获取分组内最后一个数据的值。

实践示例

以下是一些示例，展示了如何使用 Hive 窗口子句：

-- 获取每组销售额最高的 3 个产品
SELECT product_id,
       product_name,
       rank() OVER (PARTITION BY product_category ORDER BY sales DESC) AS rank
FROM sales
ORDER BY rank
LIMIT 3;

-- 计算每位客户的平均订单金额
SELECT customer_id,
       AVG(order_amount) OVER (PARTITION BY customer_id) AS avg_order_amount
FROM orders
GROUP BY customer_id;

-- 获取过去 3 个订单的平均发货时间
SELECT order_id,
       AVG(shipping_time) OVER (PARTITION BY customer_id ORDER BY order_date DESC ROWS BETWEEN 2 PRECEDING AND CURRENT ROW) AS avg_shipping_time
FROM orders
WHERE customer_id = 12345;