返回

PySpark 窗口函数 Window 大揭秘，助你轻松玩转数据分析！

后端

PySpark 窗口函数：赋能数据分析的高级工具

什么是 PySpark 窗口函数？

PySpark 窗口函数是一个强大的工具，可用于对数据进行分组、排序和排名，从而进行复杂的数据分析。它允许您将数据分组为子集，称为窗口，并对其执行各种计算，例如聚合、排序和排名。

PySpark 窗口函数的语法

PySpark 窗口函数遵循特定的语法，它指定了窗口的划分方式、排序方式以及窗口的范围：

Window.partitionBy(*cols).orderBy(*cols).rowsBetween(start, end)
  • partitionBy(*cols)：此参数指定分组条件，将数据根据指定的列分组。
  • orderBy(*cols)：此参数指定排序条件，将数据根据指定的列进行排序。
  • rowsBetween(start, end)：此参数指定窗口范围，可以指定从当前行之前多少行到当前行之后多少行的范围。

PySpark 窗口函数的使用示例

让我们通过一个示例来说明 PySpark 窗口函数的用法。假设我们有一个 DataFrame，其中包含每个人的姓名、ID 和工资信息：

df = spark.createDataFrame([
    (1, "Alice", 100),
    (2, "Bob", 200),
    (3, "Charlie", 300),
    (4, "Dave", 400),
    (5, "Eve", 500)
], ["id", "name", "salary"])

要计算每个人的平均工资，我们可以使用 avg() 函数和 Window 函数：

windowSpec = Window.partitionBy("name").orderBy("salary").rowsBetween(-1, 1)
df = df.withColumn("avg_salary", avg("salary").over(windowSpec))

输出结果如下：

+---+------+------+----------+
| id| name|salary|avg_salary|
+---+------+------+----------+
|  1| Alice|   100|       150|
|  2|  Bob|   200|       250|
|  3|Charlie|   300|       350|
|  4|  Dave|   400|       450|
|  5|  Eve|   500|        NaN|
+---+------+------+----------+

正如您所见，我们成功地计算了每个人的平均工资。

其他 PySpark 窗口函数的用法

除了计算聚合值之外，PySpark 窗口函数还可以用于各种其他操作，包括：

  • 计算排名： 您可以使用 rank() 或 row_number() 函数来计算每个组中的排名。
  • 计算百分比排名： 您可以使用 percent_rank() 函数来计算每个组的百分比排名。
  • 计算移动平均值： 您可以使用 avg() 函数和 rowsBetween() 函数来计算每个组的移动平均值。

结论

PySpark 窗口函数是数据分析中一个强大的工具。它允许您执行复杂的操作，而无需编写复杂的代码。如果您正在使用 PySpark 进行数据分析，强烈建议您学习如何使用窗口函数。

常见问题解答

  1. 窗口函数如何提高数据分析效率？

窗口函数提高了数据分析效率，因为它允许您对数据子集执行操作，而不是对整个数据集执行操作。这可以显着减少计算时间，尤其是对于大型数据集。

  1. 什么是窗口范围？

窗口范围指定了要对其执行计算的数据行。您可以指定从当前行之前多少行到当前行之后多少行的范围。

  1. 如何对数据进行排序？

您可以使用 orderBy(*cols) 参数对数据进行排序。此参数指定要根据哪些列对数据进行排序，以及是按升序还是降序排序。

  1. 如何计算每个组的排名？

您可以使用 rank() 或 row_number() 函数来计算每个组的排名。这两个函数返回一个表示组内行排名的数字。

  1. 如何计算百分比排名？

您可以使用 percent_rank() 函数来计算百分比排名。此函数返回一个介于 0 到 1 之间的小数，表示组中行的相对排名。