SpringBoot应用程序中的异常线程峰值问题分析与解决方案

java

2024-03-07 03:20:14

SpringBoot应用程序中的异常线程峰值：根源和解决方案

引言

在本文中，我们将探讨SpringBoot应用程序中出现的异常线程峰值问题，该问题通常在每晚午夜00:00准时发生。我们将分析此问题并提供一些实用的解决方案，以帮助你解决该问题，确保你的应用程序高效稳定运行。

问题

作为一名经验丰富的程序员，我最近遇到了一个棘手的SpringBoot应用程序问题。这个应用程序使用以下技术栈：

spring-boot-starter-web
org.springframework.boot:spring-boot-starter-data-elasticsearch
com.github.ben-manes.caffeine:caffeine
org.springframework.kafka:spring-kafka

每天午夜00:00左右，应用程序的线程数会突然激增，之后很少有线程被终止。这导致应用程序的线程数每天递增，有时会导致容器重启（怀疑是由于内存使用量增加导致OOM）。

观察

在该时间段内，REST请求或消息消费管道几乎没有吞吐量变化，这表明问题不是由应用程序负载引起的。

分析

为了深入分析问题，我们收集了应用程序的线程转储，并比较了两天的转储。我们发现，应用程序中存在大量处于timed_waiting 状态的线程。

线程转储的堆栈轨迹如下：

"http-nio-8080-exec-61" #37660 [37664] daemon prio=5 os_prio=0 cpu=38462.67ms elapsed=46889.40s tid=0x00007f2e0c0557b0 nid=37664 waiting on condition [0x00007f2ddf2fe000]
java.lang.Thread.State: TIMED_WAITING (parking)
at jdk.internal.misc.Unsafe.park(java.base@21/Native Method)
- parking to wait for <0x0000000684f26058> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
at java.util.concurrent.locks.LockSupport.parkNanos(java.base@21/LockSupport.java:269)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(java.base@21/AbstractQueuedSynchronizer.java:1758)
at java.util.concurrent.LinkedBlockingQueue.poll(java.base@21/LinkedBlockingQueue.java:460)
at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:99)
at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:33)
at org.apache.tomcat.util.threads.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1113)
at org.apache.tomcat.util.threads.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1176)
at org.apache.tomcat.util.threads.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:659)
at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
at java.lang.Thread.runWith(java.base@21/Thread.java:1596)
at java.lang.Thread.run(java.base@21/Thread.java:1583)