在 Yarn 上构建 Hello World，探索分布式应用程序开发

2023-09-21 05:28:59

Yarn：为分布式应用程序赋能的分布式操作系统

在当今数字化时代，分布式计算已成为满足不断增长的数据处理需求的关键。作为分布式操作系统，Yarn 为开发人员提供了一个强大而灵活的平台，用于构建和部署分布式应用程序。本博客将深入探讨 Yarn 架构、构建应用程序的过程以及应用程序生命周期，帮助您了解 Yarn 的强大功能。

Yarn 架构概述

想象 Yarn 就如同一个管理大型集群中计算资源的指挥官。其核心组件包括：

ResourceManager： 协调器，分配资源并调度作业。
NodeManager： 执行任务并管理容器的代理。

容器是 Yarn 中轻量级的隔离环境，用于运行应用程序，类似于 Linux 中的 Docker 容器。

在 Yarn 上构建应用程序

构建 Yarn 应用程序的过程类似于为传统操作系统编写应用程序：

创建项目目录： 创建一个新目录来容纳您的项目代码。
创建主类： 在 Java 中，创建包含应用程序逻辑的主类。
编写代码： 在主类中编写代码，与 ResourceManager 和 NodeManager 通信，申请资源和运行任务。
打包应用程序： 使用 Maven 或类似工具将应用程序代码打包成 JAR 文件。
部署应用程序： 通过 Yarn 命令将 JAR 文件提交到集群。

代码示例

以下 Java 代码展示了如何申请 Container 并运行代码：

import org.apache.hadoop.yarn.client.api.AMRMClient;
import org.apache.hadoop.yarn.client.api.NMClient;
import org.apache.hadoop.yarn.conf.YarnConfiguration;

public class YarnHelloWorld {

    public static void main(String[] args) throws Exception {
        // 创建 AMRMClient 和 NMClient 实例
        AMRMClient amrmClient = AMRMClient.createAMRMClient();
        NMClient nmClient = NMClient.createNMClient();
        amrmClient.init(new YarnConfiguration());
        nmClient.init(new YarnConfiguration());

        // 向 ResourceManager 注册 ApplicationMaster
        amrmClient.start();
        amrmClient.registerApplicationMaster();

        // 向 NodeManager 申请 Container
        Container container = nmClient.askForNewContainer();

        // 启动任务
        nmClient.startContainer(container);

        // 等待任务完成
        nmClient.getContainerStatus(container.getId());

        // 取消注册 ApplicationMaster
        amrmClient.unregisterApplicationMaster();
    }
}