SQL 技巧：如何填补时间戳空白并拆分行以实现全天监控？

2024-03-12 10:41:06

SQL 进阶：填补时间戳空白并拆分行以全天监控

简介

在日常监控任务中，我们经常遇到不完整或断断续续的数据。当试图分析全天活动时，处理跨越多个时间戳和状态的记录至关重要。本文将深入探讨一种创新的 SQL 查询，可以有效地解决这一挑战，帮助我们填补时间戳空白并拆分行以实现全天监控。

问题陈述

假设我们有一个数据集，其中包含设备的状态记录，如下所示：

| DeviceID | StartTimestamp | EndTimestamp | StatusID |
|---|---|---|---|
| 1         | 2023-03-01 08:00:00 | 2023-03-01 12:00:00 | 1         |
| 1         | 2023-03-01 14:00:00 | 2023-03-01 18:00:00 | 2         |
| 2         | 2023-03-02 10:00:00 | 2023-03-02 15:00:00 | 3         |

我们的目标是将此数据集转换为以下格式：

| DeviceID | StartTimestamp | EndTimestamp | StatusID |
|---|---|---|---|
| 1         | 2023-03-01 08:00:00 | 2023-03-01 12:00:00 | 1         |
| 1         | 2023-03-01 12:00:00 | 2023-03-01 14:00:00 | 0         |
| 1         | 2023-03-01 14:00:00 | 2023-03-01 18:00:00 | 2         |
| 1         | 2023-03-01 18:00:00 | 2023-03-01 23:59:59 | 0         |
| 1         | 2023-03-02 00:00:00 | 2023-03-02 10:00:00 | 0         |
| 1         | 2023-03-02 10:00:00 | 2023-03-02 15:00:00 | 3         |
| 2         | 2023-03-02 10:00:00 | 2023-03-02 15:00:00 | 3         |
| 2         | 2023-03-02 15:00:00 | 2023-03-03 00:00:00 | 0         |

如你所见，转换后的数据集：

填补了状态之间的时间空白，并用 StatusID = 0 表示缺失数据。
将跨越一天的记录拆分成两天，并在一天结束和第二天开始时添加条目。
处理了状态在一天结束前结束的情况，用 StatusID = 0 填充剩余时间。
填充了连续几天没有条目的情况。

解决方案

为了解决上述问题，我们可以使用以下 SQL 查询：

WITH Recursive CTE AS (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY DeviceID ORDER BY StartTimestamp) AS RowNum
    FROM
        YourTable
)

SELECT
    DeviceID,
    StartTimestamp,
    CASE
        WHEN EndTimestamp > DATEADD(DAY, 1, StartTimestamp)
        THEN DATEADD(DAY, 1, StartTimestamp)
        ELSE EndTimestamp
    END AS EndTimestamp,
    StatusID
FROM
    CTE
WHERE
    RowNum = 1
    OR EndTimestamp <> DATEADD(DAY, 1, StartTimestamp)
UNION ALL
SELECT
    DeviceID,
    DATEADD(DAY, 1, EndTimestamp),
    CASE
        WHEN EndTimestamp > DATEADD(DAY, 1, StartTimestamp)
        THEN DATEADD(DAY, 2, StartTimestamp)
        ELSE EndTimestamp
    END AS EndTimestamp,
    0 AS StatusID
FROM
    CTE
WHERE
    RowNum <> 1 AND EndTimestamp <> DATEADD(DAY, 1, StartTimestamp)
UNION ALL
SELECT
    DeviceID,
    DATEADD(DAY, 1, EndTimestamp),
    DATEADD(DAY, 2, EndTimestamp),
    0 AS StatusID
FROM
    CTE
WHERE
    RowNum = 1 AND EndTimestamp < DATEADD(DAY, 1, StartTimestamp)
UNION ALL
SELECT
    DeviceID,
    DATEADD(DAY, 1, StartTimestamp),
    DATEADD(DAY, 1, StartTimestamp),
    0 AS StatusID
FROM
    CTE
WHERE
    NOT EXISTS (
        SELECT
            *
        FROM
            CTE
        WHERE
            DeviceID = CTE.DeviceID AND DATEADD(DAY, 1, StartTimestamp) BETWEEN StartTimestamp AND EndTimestamp
    )
ORDER BY
    DeviceID,
    StartTimestamp;

查询说明

此查询通过以下步骤工作：

创建一个递归 CTE，为原始表中的每条记录添加一个行号（RowNum），该行号按 DeviceID 和 StartTimestamp 对记录进行分区。
使用第一个 UNION ALL 子句选择具有 RowNum 等于 1 的记录。这些记录代表每组记录的开始。
使用第二个 UNION ALL 子句选择所有不属于第一个组的记录，但其结束时间戳不等于组开始时间戳的记录。这些记录代表组中的时间间隔。
使用第三个 UNION ALL 子句选择所有属于第一个组但结束时间戳小于组开始时间戳加一天的记录。这些记录代表组中的结束时间小于一天的记录。
使用第四个 UNION ALL 子句选择所有没有出现在前三个子句中的记录。这些记录代表没有条目覆盖的日期。

最后，查询根据 DeviceID 和 StartTimestamp 对结果进行排序。

结论

本文探讨了如何使用 SQL 查询来填补时间戳空白并拆分行以全天监控。通过利用递归 CTE 的强大功能，我们可以解决复杂的数据集并生成所需的结果。这种技术对于分析和可视化跨时间段的数据至关重要，并为全面监控和决策提供了关键见解。

常见问题解答