返回

Apache Flink 1.15 发布公告

后端

Apache Flink 是一个开源的大数据处理框架，它可以实时处理流数据，也可以处理批处理数据。Flink 1.15 版本于近日正式发布，在此版本中，贡献者们极大地改进了操作 Apache Flink 的体验。本文将详细介绍 Flink 1.15 版本的新特性、兼容性问题以及相关的解决方案。

新特性

全新的 Web UI

新的 Web UI 更加现代化，并且提供了更多的信息。开发者可以通过这个界面更直观地监控和管理作业。

示例：

start-cluster.sh

启动集群后，访问 http://localhost:8081 即可看到全新的 Web UI。

改进的 SQL 支持

Flink 1.15 版本对 SQL 支持进行了改进，包括对更多数据类型的支持，以及对窗口函数和聚合函数的改进。这使得 SQL 查询在 Flink 中的执行更加高效和灵活。

示例：

SELECT window_start, window_end, AVG(value) AS avg_value
FROM TableName
GROUP BY HOP(ts, INTERVAL '5' MINUTE, INTERVAL '15' MINUTE);
增强的 Python API

Flink 1.15 版本对 Python API 进行了增强，包括对新数据类型和函数的支持，以及对性能的改进。这使得 Python 开发者在使用 Flink 时能够获得更好的体验。

示例：

from pyflink.datastream import StreamExecutionEnvironment
from pyflink.table import StreamTableEnvironment, DataTypes
from pyflink.table.descriptors import Schema, OldCsv, FileSystem

env = StreamExecutionEnvironment.get_execution_environment()
t_env = StreamTableEnvironment.create(env)

t_env.connect(FileSystem().path('/path/to/csv')) \
    .with_format(OldCsv()) \
    .with_schema(Schema()
                 .field("id", DataTypes.INT())
                 .field("name", DataTypes.STRING())
                 .field("age", DataTypes.INT())) \
    .create_temporary_table("mySource")

t_env.scan("mySource").execute().print()
改进的性能

Flink 1.15 版本对性能进行了优化，包括对内存管理和垃圾回收的优化。这些改进使得 Flink 在处理大规模数据时更加高效。

示例：

bin/flink run -m yarn-cluster -yD taskmanager.memoryProcessSize=4096m myJob.jar

兼容性

Flink 1.15 版本与过去版本兼容，这意味着用户可以将现有作业升级到新版本。但是，需要注意的是，Flink 1.15 版本中的一些新特性可能会导致现有作业出现问题。因此，在升级作业之前，请仔细阅读发行说明。

示例：

bin/flink upgrade --fromVersion 1.14 --toVersion 1.15

总结

Apache Flink 1.15 版本是一个重大版本，它带来了许多新特性和改进。用户可以关注该版本并考虑升级到新版本。以下是一些额外的安全建议：

  • 备份数据：在进行任何升级之前，务必备份所有重要数据。
  • 测试环境：在生产环境之前，先在测试环境中进行升级和测试。
  • 监控日志：升级过程中和之后，密切监控日志文件以捕捉任何潜在的问题。

相关资源