Databricks SQL 中如何限制结果并满足特定条件：随机抽样的进阶指南

## 在 Databricks SQL 中限制结果和满足特定条件

简介

在数据审计中，随机抽样是至关重要的，但同时满足特定条件也很重要。例如，在需要审计 6 个文件的情况下，其中 3 个文件的列 B 中值为“R”，另外 3 个文件的列 B 中值为“TL”。此外，还要求列 C 中有 3 个“是”和 3 个“否”。

问题

如何使用 Databricks SQL 随机抽取数据，同时满足特定条件？

解决方案

要解决这个问题，我们可以使用 SAMPLE 函数和 WHERE 子句。

SELECT *
FROM table_name
SAMPLE (6)
WHERE (column_b = 'R' AND column_c = 'Yes') OR (column_b = 'TL' AND column_c = 'No')

这个查询将从表中随机抽取 6 行数据，但会确保其中 3 行的列 B 中值为“R”且列 C 中值为“是”，另外 3 行的列 B 中值为“TL”且列 C 中值为“否”。

为了进一步确保随机性，我们可以使用 ORDER BY RAND() 子句。

SELECT *
FROM table_name
ORDER BY RAND()
LIMIT 6
WHERE (column_b = 'R' AND column_c = 'Yes') OR (column_b = 'TL' AND column_c = 'No')

这个查询将首先对表中的所有行进行随机排序，然后选择前 6 行，同时仍然满足指定的条件。

代码示例

以下是一些代码示例，展示了如何使用这些查询：

示例 1：

df = spark.sql("""
SELECT *
FROM table_name
SAMPLE (6)
WHERE (column_b = 'R' AND column_c = 'Yes') OR (column_b = 'TL' AND column_c = 'No')
""")

df.show()

示例 2：

df = spark.sql("""
SELECT *
FROM table_name
ORDER BY RAND()
LIMIT 6
WHERE (column_b = 'R' AND column_c = 'Yes') OR (column_b = 'TL' AND column_c = 'No')
""")

df.show()

常见问题解答

1. 如何确保从每个组中随机抽取相同数量的行？

使用 STRATIFY 子句将数据划分为不同的组，然后使用 SAMPLE 函数从每个组中随机抽取相同数量的行。

2. 如何在不使用 RAND() 函数的情况下确保随机性？

使用 SORT BY 子句对数据进行随机排序。

3. 如何限制抽取数据的最大行数？

使用 LIMIT 子句指定要抽取的最大行数。

4. 如何从抽取的数据中排除特定行？

使用 EXCEPT 或 MINUS 操作符从抽取的数据中排除特定行。

5. 如何将抽取的数据导出到文件或表中？

使用 WRITE 命令将抽取的数据导出到文件或表中。

结论

通过使用这些查询，你可以轻松地在 Databricks SQL 中随机抽取数据，同时满足特定的条件，确保审计过程的准确性和可重复性。