返回

步入数据海洋：个推基于Flink SQL建设实时数仓的艰辛旅程

人工智能

个推实时数仓演进：基于 Flink SQL 构建数据驱动引擎

Flink SQL：实时数仓的引擎

在当今瞬息万变的互联网世界中，实时数仓已经成为数据驱动型企业的基石。个推作为专注于移动互联网广告营销的大数据公司，也不例外。自 2018 年起，个推就开始踏上实时数仓构建之旅。

最初，个推采用传统 ETL 工具，但随着业务的迅猛发展，ETL 的局限性暴露无遗，难以满足实时性和准确性的要求。因此，个推开始探索新技术，最终选择了基于 Flink SQL 构建实时数仓。

Flink SQL 是基于 Apache Flink 的流式 SQL 查询引擎，具备以下优势：

  • 高吞吐量和低延迟： 能够处理海量数据，并提供极低的延迟，满足实时数仓要求。
  • 易于使用： 采用标准 SQL 语法，降低开发和维护难度。
  • 可扩展性强： 可轻松扩展至数百甚至数千台服务器，满足业务增长需求。

个推 Flink SQL 实践之旅

选择 Flink SQL 作为技术方案后，个推团队开启了漫长的实践之旅。

技术选型

个推团队深入评估了 Flink SQL，并与其他流式 SQL 查询引擎进行了对比，最终确定 Flink SQL 为最优方案。

开发和部署

在这个阶段，个推团队面临诸多挑战，包括数据源接入、数据清洗和转换、作业调度和监控。

运维和优化

随着业务发展，实时数仓规模和复杂度不断增加，性能优化和故障处理至关重要。

成果：稳定可靠的实时数仓

经过多年的努力，个推团队成功构建了基于 Flink SQL 的实时数仓，满足了业务需求，稳定可靠地运行。

代码示例

数据源接入

CREATE TABLE source_table (
  event_time TIMESTAMP,
  user_id STRING,
  event_type STRING,
  ...
) WITH (
  'connector' = 'kafka',
  'topic' = 'source_topic',
  'format' = 'json'
);

数据清洗和转换

CREATE TABLE cleaned_table (
  user_id STRING,
  event_type STRING,
  event_time TIMESTAMP,
  ...
) AS
SELECT
  user_id,
  event_type,
  event_time,
  ...
FROM
  source_table
WHERE
  event_type IN ('event1', 'event2');

作业调度和监控

bin/flink run -m yarn-cluster \
  -ynm 'Realtime Data Processing' \
  -yn 4 \
  -ytm 8192 \
  -yjm 1024 \
  -yqu yarn-queue-default \
  -ys 5 \
  -c com.example.RealtimeDataProcessing \
  ./lib/realtime-data-processing-1.0-SNAPSHOT-jar-with-dependencies.jar

常见问题解答

  • 为什么选择 Flink SQL？ Flink SQL 的高吞吐量、低延迟、易用性和可扩展性使其成为构建实时数仓的理想选择。
  • 构建实时数仓面临的最大挑战是什么？ 数据源接入、数据清洗和转换、作业调度和监控是构建实时数仓面临的主要挑战。
  • 实时数仓如何提升业务价值？ 实时数仓提供实时洞察，支持数据驱动决策，并优化业务运营。
  • 构建和维护实时数仓的成本是多少？ 构建和维护实时数仓的成本因具体业务需求而异，但与传统数据仓库相比，Flink SQL 提供了更具成本效益的解决方案。
  • Flink SQL 在实时数仓中的未来发展趋势是什么？ Flink SQL 将继续发展，支持更高级的分析功能、更低的延迟以及更无缝的数据集成。