Apache Flink 中的时间概念：Event Time、Ingestion Time 和 Processing Time

见解分享

2023-11-16 16:28:46

在 Apache Flink 的数据处理管道中，时间概念至关重要，因为它使我们能够对事件进行排序、窗口划分并执行基于时间的操作。了解 Flink 中的不同时间概念对于构建可靠和可维护的流处理应用程序至关重要。

Event Time

Event Time 是指事件实际发生的时间。它通常由事件中的时间戳字段表示。使用 Event Time 可以准确地对事件进行排序并执行时间范围查询。例如，我们可以查询在特定时间范围内发生的事件，或者计算事件之间的时间间隔。

Ingestion Time

Ingestion Time 是指事件进入 Flink 系统的时间。它是由 Flink 自动分配的时间戳。Ingestion Time 可以用来粗略地对事件进行排序和窗口划分。它通常在 Event Time 不可用或不可靠的情况下使用。

Processing Time

Processing Time 是指 Flink 处理事件的时间。它是系统时钟的时间。Processing Time 可以用于调度操作或处理不需要时间同步的事件。

在 Flink 中使用时间

Flink 提供了多种选项来指定事件时间：

Watermark： 它是一个时间戳，表示已经看到的所有事件的时间。它用于触发迟到事件的处理。
时间戳提取器： 它是一个函数，从事件中提取 Event Time 时间戳。
时间分配器： 它是一个函数，为事件分配 Ingestion Time 或 Processing Time 时间戳。

通过结合使用这些选项，我们可以根据我们的应用程序的特定需求配置 Flink 以使用不同的时间概念。

示例

考虑以下使用 Event Time 对来自传感器的数据进行处理的示例：

// 时间戳提取器，从事件中提取 Event Time
TimestampExtractor<SensorData> timestampExtractor = new EventTimeExtractor<SensorData>() {
    @Override
    public long extractTimestamp(SensorData element, long previousTimestamp) {
        return element.getTimestamp();
    }
};

// 流处理 pipeline
FlinkStreamProcessingEnvironment env = FlinkStreamProcessingEnvironment.getExecutionEnvironment();
DataStream<SensorData> sensorDataStream = env.addSource(new SensorDataSource());
sensorDataStream
    // 提取 Event Time
    .assignTimestampsAndWatermarks(timestampExtractor)
    // 每 10 秒钟进行窗口划分
    .keyBy("sensorId")
    .timeWindow(Time.seconds(10))
    // 计算窗口内的平均值
    .reduce((a, b) -> new SensorData(a.getSensorId(), (a.getValue() + b.getValue()) / 2));