前言

从 Storm 到 Flink：有赞五年实时计算效率提升实践

**## **

对于一家以电子商务为核心业务的公司而言，实时处理数据是其数字神经中枢的关键部分。有赞作为中国领先的商家服务平台，深入服务电商行业多年，深谙实时数据的重要性，并为此进行了不懈的探索和实践。本文将聚焦于有赞实时计算效率提升实践历程，分享我们从 Storm 到 Flink 的演进之路，以及在效率提升方面取得的显著成果。

**## **

在 2018 年之前，有赞实时计算主要基于 Storm 平台，这套平台由分布式流处理框架、消息队列、数据存储等组件组成。当时，Storm 以其高吞吐量、低延迟的特性，满足了有赞早期实时计算的需求。

然而，随着业务的快速发展，Storm 也暴露出了一些不足之处：

• 性能瓶颈： 在处理海量数据时，Storm 的性能会出现明显下降，难以满足业务不断增长的需求。
• 开发复杂度高： Storm 的编程模型复杂，开发人员需要编写大量代码才能实现所需的计算逻辑，增加了开发难度。
• 运维成本高： Storm 集群的运维需要投入大量的人力和物力，包括硬件资源、系统优化、故障处理等方面，加大了整体运营成本。

**## **

2018 年，有赞开始探索新的实时计算平台，以解决 Storm 存在的痛点。经过全面的评估，Flink 凭借其强大的流处理能力、简洁的编程模型和较低的运维成本脱颖而出，成为有赞实时计算的下一代技术选型。

Flink 是一款开源分布式流处理框架，拥有以下优势：

• 高吞吐量、低延迟： Flink 采用流式计算引擎，支持毫秒级的数据处理，能够满足有赞海量数据实时处理的需求。
• 易于编程： Flink 提供了 Java 和 Scala 两种编程 API，开发者可以轻松编写复杂的计算逻辑，降低了开发难度。
• 免维护： Flink 采用分布式架构，具备自动容错、自动伸缩等特性，大大降低了运维成本。

**## **

为了平滑地从 Storm 迁移到 Flink，有赞团队制定了一系列周密的计划：

• 循序渐进迁移： 有赞将实时计算任务分批迁移，从简单的任务开始，逐步迁移至复杂的业务场景。
• 开发工具自研： 有赞自主研发了一套 Flink 开发工具，包括任务构建、代码生成、测试等功能，简化了迁移过程。
• 性能调优： 有赞对 Flink 集群进行了全方位的性能调优，包括线程配置、资源分配、数据分区等方面，最大程度地提升了处理效率。

**## **

经过五年多的探索和实践，有赞在实时计算效率提升方面取得了显著成果：

• 性能提升 5 倍： 相比 Storm，Flink 将有赞实时计算的整体性能提升了 5 倍以上，大幅缩短了数据处理延迟。
• 开发效率提升 30%： Flink 简洁的编程模型和自研开发工具，将开发效率提升了 30% 以上，缩短了任务开发周期。
• 运维成本降低 20%： Flink 的自动容错、自动伸缩特性，大幅降低了集群运维成本，节省了人力和物力资源。

展望未来，有赞将继续探索实时计算技术的创新应用，依托 Flink 的强大功能，进一步提升实时数据处理效率和业务价值。我们相信，实时计算将成为有赞数字转型的重要推动力，助力其在电商领域的持续领航。

**## **

实时计算, 流处理, Storm, Flink, 有赞, 电子商务, 性能优化, 开发效率, 运维成本

**## **

本文介绍了有赞在实时计算效率提升方面的实践经验，从 Storm 到 Flink 的演进之路，以及在性能、开发效率和运维成本方面的显著成果。通过分享有赞在实时计算领域的探索和创新，本文旨在为其他企业提供有益的借鉴和参考。