Hadoop 入门笔记—核心组件 YARN

2023-10-15 04:56:14

Apache YARN：Hadoop 的资源管理引擎

概述

Apache YARN（又称 Yet Another Resource Negotiator）是 Hadoop 中负责资源管理和作业调度的核心组件。它在 Hadoop 2.x 中引入，旨在克服 Hadoop 1.x 中 JobTracker 的局限性。YARN 的独特架构提升了 Hadoop 的可扩展性、灵活性和可靠性，使其能够处理大规模数据处理任务。

YARN 的体系结构

YARN 采用了一种分布式体系结构，将资源管理和作业调度与数据处理分离开来：

资源管理器（ResourceManager）： 负责全局资源管理，分配资源给应用程序。
节点管理器（NodeManager）： 管理单个节点的资源，运行应用程序的任务。
应用程序管理器（ApplicationMaster）： 协调单个应用程序，与 ResourceManager 和 NodeManager 通信。
容器（Container）： 为应用程序提供沙盒执行环境。

YARN 的工作原理

YARN 的工作原理涉及以下步骤：

应用程序提交： 应用程序提交给 ResourceManager。
资源分配： ResourceManager 分配资源，将应用程序需求发送给 NodeManager。
应用程序启动： NodeManager 启动应用程序的 ApplicationMaster。
容器请求： ApplicationMaster 向 NodeManager 请求容器。
任务分配： ApplicationMaster 将任务分配给容器。
任务执行： 容器执行应用程序任务。
任务完成： 容器报告任务完成情况。
应用程序完成： ApplicationMaster 报告应用程序完成情况。

YARN 的优点

YARN 较 JobTracker 具有以下优势：

可扩展性： 可轻松扩展到处理大数据集。
灵活性： 支持多种作业类型。
高可用性： 通过 ResourceManager 和 NodeManager 的故障转移实现高可用性。
安全性： 提供细粒度的安全控制。

代码示例：应用程序提交和容器请求

以下代码示例展示了应用程序如何提交到 YARN 并请求容器：

// 应用程序提交
Configuration conf = new Configuration();
Job client = Job.getInstance(conf, "myApp");
client.setJarByClass(MyApplication.class);

// 创建作业配置
JobConf jobConf = new JobConf(conf);
jobConf.set("mapreduce.framework.name", "yarn");
jobConf.set("yarn.resourcemanager.address", "localhost:8032");
client.submit();

// 容器请求
ContainerRequest containerReq = new ContainerRequest();
containerReq.setResource(Resource.newInstance(1024, 1));
containerReq.setNodeLabelExpression("label-1");
ApplicationMasterProtocol applicationMaster = (ApplicationMasterProtocol) 
     Proxy.newProxyInstance(Thread.currentThread().getContextClassLoader(), 
     new Class[]{ApplicationMasterProtocol.class},
     new ClientProtocolProxy(ApplicationMasterProtocol.class, 
          masterAddress, conf));
applicationMaster.allocate(containerReq);