走进Flink：水位线助力数据驱动事件时钟

后端

2023-11-11 15:42:07

水位线：Flink 驾驭数据洪流的秘密武器

数据处理就像在河流上航行，数据源源不断地涌入，我们必须找到一种方法来跟踪它们的进度，确保它们及时到达目的地。Flink 中的水位线概念就是解决这一难题的关键，它允许我们以一种精确的方式控制事件时间的流动，从而获得更高的准确性和效率。

什么是水位线？

水位线是一个时间哨兵，它跟踪每个键的事件时间，准确地规定哪些事件可以被聚合计算。它就像一个指导员，告诉下游任务上游数据的进度状态，以便它们能够准确计算窗口边界并进行聚合。

水位线的类型：按需定制

Flink 中有两种类型的水位线：

周期性水位线： 定期触发，用于处理延迟数据或乱序数据。它就像一个安全带，防止我们错过任何重要的数据。
基于数据的水位线： 以数据时间戳为基准，当水位线超过或等于某个数据事件的时间戳时触发窗口计算。它就像一个精密导航系统，指导我们准确到达目的地。

水位线策略：灵活配置

Flink 提供了灵活的水位线策略配置，让我们可以根据自己的业务需求进行调整。

无水位线： 不使用水位线，数据处理依赖系统时间。适用于不需要实时处理的场景。
周期性水位线： 每隔一定时间触发水位线。适用于延迟数据较多的场景。
基于数据的水位线： 当水位线超过或等于某个数据事件的时间戳时触发水位线。适用于大多数场景。

代码示例：

// 周期性水位线
DataStream<Watermarks> periodicWatermarks = stream
  .assignTimestampsAndWatermarks(PeriodicWatermarks.withWatermarkContext(new WatermarkStrategy<RowData>() {
    @Override
    public WatermarkGenerator<RowData> createWatermarkGenerator(WatermarkGeneratorSupplier.Context context) {
      return new PeriodicGenerator(1000L); // 每1秒触发一次水位线
    }
  }));

// 基于数据的水位线
DataStream<Watermarks> dataBasedWatermarks = stream
  .assignTimestampsAndWatermarks(new TimestampAssigner<>() {
    @Override
    public long extractTimestamp(RowData rowData, long previousTimestamp) {
      return rowData.getFieldAs("timestamp").getLongValue(); // 以timestamp字段作为数据时间戳
    }
  });