CPU使用率度量指标的分析！

没错，我在这里所说的是每个人在到处使用的“%CPU”这个度量指标，用于每一款性能监控产品中。用top(1)命令来查看。
你可能认为90%的CPU使用率意味着：

而实际上它可能意味着：

停滞（stalled）意味着处理器在处理指令方面没有进展，通常是由于处理器在等待内存输入/输出。我在上面划分的比例（忙碌和停滞之间）是我在实际的生产环境中经常看到的情形。你很可能基本上处于停滞状态，但浑然不知罢了。

这对你来说意味着什么呢？了解你的多少CPU处于停滞状态可以指导减少代码或减少内存输入/输出之间的性能调优工作。谁要是在关注CPU性能，尤其是在根据CPU自动扩展资源的云，如果知道%CPU中停滞的部分，那将大有益处。

我们称为CPU使用率的衡量指标其实是“非闲置时间”（non-idle time）：也就是CPU未运行闲置线程的时间。你的操作系统内核（无论它是什么内核）通常在上下文切换过程中跟踪这个指标。如果非闲置进程开始运行，然后停止100毫秒，内核还是认为该CPU在那整段时间都被使用。

这个度量指标的历史与分时系统一样久远。Apollo Lunar Module制导计算机（一种开创性的分时系统）称其闲置线程为“DUMMY JOB”，工程师们跟踪了运行该闲置线程的周期和运行实际任务的周期，将这视作是一个衡量计算机使用率的重要指标。

现如今，CPU的速度已变得比主内存快得多，等待内存在仍然所谓的“CPU使用率”中占了大头。如果你看到数值很高的%CPU，可能认为处理器是瓶颈（即散热片和风扇下面的CPU封装件），而实际上那些DRAM模组才是瓶颈。

这方面的情形一直变得越来越严峻。长期以来，处理器厂商提高时钟速度的幅度超过DRAM提高访问延迟的幅度，这就是所谓的“CPU DRAM缺口”（ CPU DRAM gap）。这种情形在3 GHz处理器面世的2005年前后趋稳；自那以后，处理器使用更多的核心和超线程来提升性能，另外使用多插座配置，这一切给内存子系统提出了更高的要求。处理器厂商试图采用更庞大、更智能的CPU缓存以及更快速的内存总线和互连技术来缓解这个内存瓶颈。但是我们仍然通常处于停滞状态。

不妨使用性能监控计数器（PMC）：这是使用Linux perf及其他工具可以读取的硬件计数器。比如说，将整个系统测量10秒钟：

# perf stat -a — sleep 10
Performance counter stats for ‘system wide’:
641398.723351      task-clock (msec)         #  64.116 CPUs utilized         (100.00%)
379,651      context-switches          #    0.592 K/sec                 (100.00%)
51,546      cpu-migrations           #    0.080 K/sec                 (100.00%)
13,423,039       page-faults              #    0.021 M/sec
1,433,972,173,374      cycles                  #    2.236 GHz                  (75.02%)
<not supported>      stalled-cycles-frontend
<not supported>      stalled-cycles-backend
1,118,336,816,068      instructions              #    0.78  insns per cycle          (75.01%)
249,644,142,804       branches               #   389.218 M/sec                (75.01%)
7,791,449,769       branch-misses            #  3.12% of all branches          (75.01%)
10.003794539 seconds time elapsed

这里一个关键的度量指标是每个周期指令（即IPC），该度量指标显示了我们在每个CPU时钟周期平均完成了多少个指令。简单来说，这个值越高越好。上面例子中的0.78听起来不赖（78%的时间段处于忙碌状态）；但如果你意识到该处理器的最高速度下IPC是4.0，就不这么认为了。这又叫4-wide，是指指令取出/解码路径。这意味着，CPU每个时钟周期可以retire（完成）四个指令。所以，在4-wide系统上IPC为0.78，意味着CPU的运行速度是其最高速度的19.5%。新的英特尔Skylake处理器是5-wide。

你可以用来进一步钻研的PMC要多数百个：可以按不同的类型，直接测量停滞的周期。

如果你在虚拟环境中，可能无法访问PMC，这要看虚拟机管理程序是否为访客（guest）支持PMC。我最近写过一篇文章：《EC2的PMC：测量IPC》，表明了如今PMC如何可用于基于Xen的AWS EC2云上面的专用主机类型。

如果你的IPC < 1.0，你可能遇到了内存停滞，软件调优策略包括减少内存输入/输出，改进CPU缓存和内存局部性（memory locality），尤其是在NUMA系统上。硬件调优策略包括：使用CPU缓存比较大的处理器以及速度比较快的内存、总线和互连技术。

如果你的IPC > 1.0，你可能是指令密集型。想方设法减少代码执行：消除不必要的工作和缓存操作等。CPU火焰图是一款很适合开展这项调查的工具。至于硬件调优，不妨试一试更快的时钟频率和数量更多的核心/超线程。

每一款性能工具应该显示IPC以及%CPU。或者将%CPU分解成指令完成周期与停滞周期，比如%INS和%STL。

面向Linux的tiptop(1)可按进程显示IPC：

tiptop –                 [root]
Tasks: 96 total,    3 displayed                                 screen   0: default
 
PID [ %CPU] %SYS  P   Mcycle   Minstr  IPC %MISS %BMIS  %BUS COMMAND
3897   35.3   28.5    4   274.06   178.23 0.65   0.06  0.00   0.0     java
1319+   5.5    2.6   6    87.32   125.55 1.44   0.34  0.26  0.0    nm-applet
900    0.9  0.0    6    25.91    55.55 2.14   0.12  0.21     0.0     dbus-daemo

让CPU使用率具有误导性的不仅仅是内存停滞周期。其他因素包括如下：

• 温度过高导致处理器停滞。
• 睿频加速（Turboboost）导致时钟频率不一。
• 内核因speedstep导致时钟频率不一。
• 平均值方面的问题：1分钟内的使用率为80%，隐藏了100%的突发使用率。
• 自旋锁：CPU被使用，有很高的IPC，但是应用程序在处理指令方面没有合理的进展。

CPU使用率已成为一个极具误导性的度量指标：它包括了等待主内存的周期，而这类周期在现代工作负载中占了大头。如果使用额外的度量指标，你就能搞清楚%CPU到底意味着什么，包括每个周期指令（IPC）。IPC < 1.0可能意味着内存密集型，而IPC > 1.0可能意味着指令密集型。我在之前的一篇文章中介绍了IPC，包括介绍了衡量IPC所需要的性能监控计数器（PMC）。 显示%CPU的性能监控产品还应该显示PMC度量指标，解释那个值意味着什么，那样才不会误导最终用户。比如说，它们可以一并显示%CPU及IPC，以及/或指令完成周期与停滞周期。有了这些度量指标，开发人员和操作人员才能决定如何才能更好地调优应用程序和系统。