Linux性能分析：直面高CPU占用率的进程

2024-02-04 14:08:00

概述

Linux系统中的进程是系统执行任务的基本单元。每个进程都有自己的内存空间和资源，并且可以独立运行。当某个进程的CPU占用率过高时，会对整个系统的性能造成影响。因此，及时发现和解决高CPU占用率的进程非常重要。

查找高CPU占用率的进程

有很多工具可以用来查找Linux系统中高CPU占用率的进程。最常用的工具是top命令。top命令可以实时显示系统中各个进程的CPU占用率、内存占用率、运行时间等信息。

top -b -n 1

top命令的输出结果类似如下：

top - 15:27:09 up 2 days,  2:01,  1 user,  load average: 0.27, 0.25, 0.24
Tasks: 155 total,   1 running, 154 sleeping,   0 stopped,   0 zombie
%Cpu(s):  1.3 us,  0.7 sy,  0.0 ni, 98.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem:  7945848 total,  7359228 used,   586620 free,   173548 buffers
KiB Swap: 1048572 total,    12584 used, 1035988 free.  1561364 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
    2 root      20   0  298752 22008   6604 S   0.7  0.3   0:16.17 systemd
    3 root      20   0       0      0      0 S   0.3  0.0   0:00.00 kthreadd
    4 root       0 -20       0      0      0 I   0.0  0.0   0:00.00 ksoftirqd/0
    5 root       0 -20       0      0      0 I   0.0  0.0   0:00.00 kworker/0:0H
    7 root       0 -20       0      0      0 I   0.0  0.0   0:00.00 rcu_bh
    8 root       0 -20       0      0      0 I   0.0  0.0   0:00.00 rcu_sched
   10 root       0 -20       0      0      0 I   0.0  0.0   0:00.00 migration/0
   11 root       0 -20       0      0      0 I   0.0  0.0   0:00.00 rcu_preempt
   13 root       0 -20       0      0      0 I   0.0  0.0   0:00.00 watchdog/0
   15 root       0 -20       0      0      0 I   0.0  0.0   0:00.00 cpuhp/0

在top命令的输出结果中，%CPU列表示各个进程的CPU占用率。我们可以看到，PID为2的systemd进程占用了7.0%的CPU，是目前CPU占用率最高的进程。

分析高CPU占用率的进程

一旦我们找到了高CPU占用率的进程，就需要对其进行分析，以确定其导致CPU占用率过高的原因。我们可以使用多种工具来分析进程，例如ps命令、strace命令和perf工具。

ps命令

ps命令可以显示系统中各个进程的详细信息。我们可以使用ps命令来查看高CPU占用率进程的详细信息，例如其命令行参数、内存使用情况和线程信息。

ps -aux | grep systemd

ps命令的输出结果类似如下：

root     2  0.0  0.3 298752 22008 ?        Ss   15:27   0:16.17 systemd

在ps命令的输出结果中，我们可以看到systemd进程的命令行参数是"/usr/lib/systemd/systemd --system --deserialize 22"。这表示systemd进程正在启动系统服务。

strace命令

strace命令可以跟踪进程的系统调用。我们可以使用strace命令来查看高CPU占用率进程的系统调用情况，以了解其正在执行哪些操作。

strace -p 2

strace命令的输出结果类似如下：

strace: Process 2 attached
openat(AT_FDCWD, "/proc/self/fd", O_RDONLY|O_DIRECTORY|O_CLOEXEC) = 3
getdents(3, /* 26 entries */, 262144) = 264
getdents(3, /* 4 entries */, 262144) = 8
getdents(3, /* 1 entries */, 262144) = 4

在strace命令的输出结果中，我们可以看到systemd进程正在执行openat、getdents等系统调用。这些系统调用与文件操作有关，这表明systemd进程正在访问文件系统。

perf工具

perf工具是Linux系统中功能强大的性能分析工具。我们可以使用perf工具来分析高CPU占用率进程的性能数据，以了解其CPU占用率高的原因。

perf record -p 2 -g

perf record命令的输出结果类似如下：

[ perf record: Woken up 1 times to write data ]
[ perf record: Captured and wrote 0.001 MB perf.data (around: 0.332 MB total) ]

在perf record命令的输出结果中，我们可以看到systemd进程的性能数据已经写入到perf.data文件中。我们可以使用perf report命令来分析perf.data文件，以获取systemd进程的性能分析报告。

perf report

perf report命令的输出结果类似如下：

         # Samples: 1000001 of event 'cpu-clock:u'
         Overhead:       0.00%  (fewer than 0.01% error)

         +---------+-----------+-----------+
         | Function | Total time | Percentage |
         +---------+-----------+-----------+
         | openat    |    41.53% |     41.54% |
         | __vfs_read |    10.22% |     10.23% |
         | memcpy     |     8.37% |      8.37% |
         | __bread_gfp |     5.77% |      5.77% |
         | select     |     4.80% |      4.80% |
         | getdents   |     4.54% |      4.54% |
         | fsync      |     3.22% |      3.23% |
         +---------+-----------+-----------+