MapReduce Job Uber Mode：功能与用法

2023-09-21 13:07:42

Uber 模式：MapReduce 中的资源效率革命

什么是 Uber 模式？

Uber 模式是 Hadoop 2.x 中引入的一种 MapReduce 作业运行模式。它让所有 Map 任务和 Reduce 任务都在 ApplicationMaster 所在的容器中运行，这意味着这些任务可以共享 ApplicationMaster 的资源（如内存和 CPU）。

Uber 模式的工作原理

当以 Uber 模式运行 MapReduce 作业时，JobTracker 将作业提交给 ApplicationMaster。ApplicationMaster 会在其自己的容器中启动一个 JVM 进程，并在该进程中运行作业的 Map 任务和 Reduce 任务。这些任务共享 ApplicationMaster 的资源，包括内存和 CPU。作业完成后，ApplicationMaster 退出并向 JobTracker 报告作业状态。

Uber 模式的优点

提高性能： 由于所有任务都在同一个容器中运行，它们可以共享 ApplicationMaster 的资源，包括内存和 CPU。这可以提高作业性能，尤其是对于内存密集型或 CPU 密集型作业。
降低资源消耗： 因为所有任务都运行在同一个容器中，因此作业所需的资源更少。这可以降低作业成本，尤其是对于需要大量资源的作业。
简化作业管理： 由于所有任务都运行在同一个容器中，因此作业管理更加简单。作业管理员只需监控 ApplicationMaster 的状态，不必监控每个任务的状态。

代码示例：

JobConf conf = new JobConf(getConf());
conf.set("mapreduce.job.running.mode", "uber");
JobClient.runJob(conf);

Uber 模式的局限性

单点故障： 由于所有任务都运行在同一个容器中，因此 ApplicationMaster 成为作业的单点故障点。如果 ApplicationMaster 发生故障，整个作业都会失败。
任务隔离性差： 因为所有任务都运行在同一个容器中，所以它们之间没有隔离性。这可能会导致任务相互影响，导致作业失败。
不适用于大型作业： Uber 模式不适用于大型作业，因为大型作业可能会超出容器的资源限制。

Uber 模式的应用场景

Uber 模式适合以下场景：