弹性部署、按需扩展！阿里云RSS新功能——AQE和流控详解

前言

阿里云Remote Shuffle Service(RSS)自2020年推出以来，帮助了诸多客户解决Spark作业的性能、稳定性问题，并使得存算分离架构得以实施。RSS通过将Shuffle数据存储在云存储上，实现了计算与存储的分离，消除了Shuffle过程中对本地磁盘的依赖，极大地提高了Spark作业的性能和稳定性。

为了更方便大家使用阿里云RSS，我们推出了AQE和流控两项新功能。AQE(Adaptive Query Execution)自适应查询执行功能，可以根据作业的运行情况动态调整资源分配策略，从而提升作业的性能。流控功能可以限制Shuffle数据的传输速率，防止Shuffle数据传输过快导致网络拥塞，从而保障作业的稳定性。

AQE

AQE是RSS的一个重要功能，它可以根据作业的运行情况动态调整资源分配策略，从而提升作业的性能。AQE主要包括以下几个特性：

• 动态资源分配：AQE可以根据作业的运行情况动态调整Executor的数量，从而确保作业能够获得足够的资源。
• 任务优先级：AQE可以为不同的任务分配不同的优先级，从而确保重要的任务能够优先执行。
• 任务重试：AQE可以对失败的任务进行重试，从而提高作业的成功率。

AQE的使用非常简单，只需要在Spark作业的配置中开启AQE功能即可。开启AQE功能后，Spark作业将会自动根据运行情况进行资源分配和任务调度，从而提升作业的性能。

流控

流控是RSS的另一个重要功能，它可以限制Shuffle数据的传输速率，防止Shuffle数据传输过快导致网络拥塞，从而保障作业的稳定性。流控主要包括以下几个特性：

• 传输速率限制：流控可以限制Shuffle数据的传输速率，防止Shuffle数据传输过快导致网络拥塞。
• 拥塞控制：流控可以检测网络拥塞情况，并及时调整Shuffle数据的传输速率，从而避免网络拥塞。
• 故障处理：流控可以处理Shuffle数据传输过程中发生的故障，并及时恢复数据传输，从而保障作业的稳定性。

流控的使用也非常简单，只需要在Spark作业的配置中开启流控功能并设置合适的传输速率限制即可。开启流控功能后，Spark作业将会自动限制Shuffle数据的传输速率，从而保障作业的稳定性。

结语

AQE和流控是阿里云RSS的两个重要功能，它们可以帮助用户提升Spark作业的性能和稳定性。AQE可以通过动态资源分配、任务优先级和任务重试等特性来提升作业的性能。流控可以通过传输速率限制、拥塞控制和故障处理等特性来保障作业的稳定性。

如果您正在使用阿里云RSS，我们强烈建议您使用AQE和流控功能来提升Spark作业的性能和稳定性。