走进Spark作业提交原理，揭秘Yarn-Cluster和Yarn-Client的奥秘

2023-06-10 20:46:02

Spark 作业提交：Yarn-Cluster 与 Yarn-Client 之争

Yarn-Cluster：Driver 的归属之地

Yarn-Cluster 模式中，Driver 被部署在集群的 NodeManager 上，这意味着 Driver 和 Executor 之间的数据传输发生在集群内部，无需跨越 Client 和集群之间的网络，从而显著降低延迟并提升性能。

Yarn-Client：将 Driver 留在 Client 的怀抱

Yarn-Client 模式采取截然不同的做法，Driver 不部署到集群中，而是驻留在 Client 机器上。这种模式下，Driver 与 Executor 之间的通信需要跨越 Client 和集群之间的网络，这可能会导致延迟增加和性能下降，尤其是在集群规模庞大时。

优劣势大比拼

Yarn-Cluster：生产环境的可靠保障

对于生产环境，Yarn-Cluster 模式是更可靠的选择。一旦应用程序提交成功，您即可关闭 Client，而 Driver 仍然会在集群中继续运行，确保应用程序的稳定运行。这种模式非常适合长时间运行的应用程序，例如机器学习模型训练或数据分析任务。

Yarn-Client：交互和调试的利器

如果您需要与应用程序进行交互或进行调试，那么 Yarn-Client 模式可能是更好的选择。由于 Driver 驻留在 Client 机器上，您可以轻松连接到 Driver 并使用调试工具进行故障排除。这种模式非常适合需要快速迭代和调试的应用程序，例如数据探索或原型开发。

根据场景选择合适的模式

在选择 Yarn-Cluster 和 Yarn-Client 模式时，您需要根据应用程序的具体场景做出决策。如果您需要高性能、高可靠性和长时间运行，那么 Yarn-Cluster 模式是您的不二之选。如果您需要与应用程序进行交互或进行调试，那么 Yarn-Client 模式可能是更好的选择。

代码示例

以下是使用 Spark-Submit 命令提交 Yarn-Cluster 和 Yarn-Client 作业的代码示例：

# Yarn-Cluster 模式
spark-submit \
  --master yarn-cluster \
  --deploy-mode cluster \
  --executor-memory 1g \
  --num-executors 2 \
  my_app.py

# Yarn-Client 模式
spark-submit \
  --master yarn-client \
  --deploy-mode client \
  --executor-memory 1g \
  --num-executors 2 \
  my_app.py