面对 Yarn ResourceManager GC overhead limit exceeded，如何解决？

2023-10-04 02:01:07

在 Hadoop 生态系统中，Yarn ResourceManager（以下简称 RM）是 Yarn 集群的资源管理器，负责管理和调度集群中的资源。RM 进程是一个 Java 进程，因此它受 Java 虚拟机（以下简称 JVM）的限制。当 RM 进程的 GC（垃圾回收）开销过大时，可能会导致 RM 进程崩溃，从而导致整个 Yarn 集群无法正常工作。

一、问题

Yarn ResourceManager GC overhead limit exceeded 问题是指 RM 进程的 GC 开销过大，导致 RM 进程崩溃。此问题通常会在 RM 进程运行一段时间后发生，尤其是当 RM 进程管理的资源较多时。

二、问题原因

RM 进程的 GC 开销过大可能是由以下原因引起的：

堆大小设置不当：RM 进程的堆大小是指 JVM 为 RM 进程分配的内存空间大小。如果堆大小设置过小，则会导致 RM 进程频繁进行 GC，从而导致 GC 开销过大。
堆外内存设置不当：堆外内存是指 JVM 管理的内存空间，但不包括在堆大小之内。堆外内存主要用于存储元空间和直接内存。如果堆外内存设置过小，则会导致 RM 进程频繁进行 GC，从而导致 GC 开销过大。
元空间设置不当：元空间是 JVM 管理的内存空间，主要用于存储类信息和方法信息。如果元空间设置过小，则会导致 RM 进程频繁进行 GC，从而导致 GC 开销过大。
直接内存设置不当：直接内存是 JVM 管理的内存空间，主要用于存储 ByteBuffer 对象。如果直接内存设置过小，则会导致 RM 进程频繁进行 GC，从而导致 GC 开销过大。
GC 参数设置不当：RM 进程的 GC 参数是指 JVM 用于控制 GC 行为的参数。如果 GC 参数设置不当，则会导致 RM 进程频繁进行 GC，从而导致 GC 开销过大。

三、解决方法

1. 修改 GC 参数

可以通过修改 GC 参数来减少 RM 进程的 GC 开销。以下是一些常用的 GC 参数：

-XX:+UseConcMarkSweepGC：此参数指定使用并发标记清除垃圾回收器。此垃圾回收器适用于堆大小较大、内存使用量较大的 Java 进程。
-XX:+UseParNewGC：此参数指定使用并行新生代垃圾回收器。此垃圾回收器适用于新生代内存较大的 Java 进程。
-XX:CMSInitiatingOccupancyFraction=70：此参数指定 CMS 垃圾回收器的启动阈值。当新生代内存使用量达到此阈值时，CMS 垃圾回收器将启动。
-XX:ParallelGCThreads=4：此参数指定并行垃圾回收器的线程数。此参数的值应根据实际情况调整。