大数据领域的开源佳话：Flink 如何将我引向 Spark 源码贡献的道路

后端

2023-12-01 14:53:55

参与开源之旅：从 Flink 到 Spark 的意外收获

踏入大数据计算的领域，Spark 和 Flink 无疑是两颗璀璨的明珠。这两大框架各领风骚，为数据分析和处理提供了强大的工具。而我的开源之旅，也正是从 Flink 的缘分开始，最终殊途同归于 Spark 的代码库中。

结缘 Flink，开启开源之门

机缘巧合下，我选择了 Flink 作为我大数据项目的计算引擎。它的流处理能力和易用性深深吸引了我。在实际使用中，我发现了一些可以改进的地方，于是萌生了提交补丁完善它的想法。

起初，我的补丁仅仅针对一些小问题。但随着我对 Flink 代码库的深入了解，我逐渐对一些核心模块产生了兴趣。功夫不负有心人，我针对 Flink 内存管理模块提交的补丁最终被社区采纳。这不仅给了我极大的信心，也让我体会到了开源社区的力量。

从 Flink 到 Spark，殊途同归

随着我对 Flink 的不断深入，我发现了它与 Spark 之间的紧密联系。虽然两者都是大数据计算框架，但技术架构上却有着不同的侧重点。Flink 专注于流处理，而 Spark 则擅长批处理和交互式查询。

在实际应用中，Flink 和 Spark 经常被结合使用，发挥各自的优势。我由此产生了将二者整合在一起的想法。经过一番探索，我开发了一个 Flink 算子，可以无缝地将 Flink 的数据流传输到 Spark 中进行处理。这个算子得到了 Flink 社区的认可，并被收录进了官方文档中。

迈向 Spark 源码贡献

通过这个 Flink 算子，我与 Spark 社区的开发者建立了联系。在他们的帮助下，我逐步了解了 Spark 的代码库和贡献流程。在参与 Flink 项目的过程中积累的经验，为我后续参与 Spark 源码贡献奠定了基础。

最终，我针对 Spark 内存管理模块提交了一个补丁，旨在提高其在处理大规模数据集时的性能。经过 Spark 社区的评审和测试，这个补丁也被顺利采纳。至此，我成为了 Spark 源码的贡献者。

开源之路，乐在其中

从参与 Flink 项目到成为 Spark 源码贡献者，这一路走来，我收获颇丰。开源社区给了我一个展示自己能力的平台，也让我有机会与来自世界各地的开发者交流学习。

在开源社区中，贡献大小并不重要，重要的是参与和奉献的精神。只要你愿意贡献自己的时间和精力，你就能为开源社区和广大开发者做出自己的贡献。

如果你也有志于参与开源项目，我建议你从一个小项目入手，逐步了解项目代码库和贡献流程。随着你的不断深入，你将会发现开源社区的魅力所在。

代码示例：Flink 算子将数据流传输到 Spark

public class FlinkToSparkOperator extends AbstractFlinkOperator<T> {

  private final SparkSession spark;
  private final String checkpointDir;

  public FlinkToSparkOperator(
      SparkSession spark,
      String checkpointDir,
      @Nullable Callback<T> executeCallback) {
    super(executeCallback);
    this.spark = spark;
    this.checkpointDir = checkpointDir;
  }

  @Override
  public void execute(Context context) throws Exception {
    DataStream<T> stream = context.getInput(0);

    stream.addSink(
        new SinkFunction<T>() {
          @Override
          public void invoke(T value, Context context) {
            // Convert Flink data to Spark DataFrame
            Dataset<Row> df = spark.createDataFrame(Collections.singletonList(value), schema);
            // Write DataFrame to Spark checkpoint
            df.write().format("parquet").save(checkpointDir);
          }
        });
  }
}