前言

我们来了解下系统的性能指标(主要是平均负载率),通过相应的性能测试工具来模拟一些场景,对一些常见的问题进行定位。

平均负载率

什么是平均负载率

平均负载是指单位时间内,系统处于 可运行状态 和 不可中断状态 的平均进程数,也就是平均活跃进程数,它和 CPU 使用率并没有直接关系。

可运行状态的进程:是指正在使用 CPU 或者正在等待 CPU 的进程,也就是我们常用 ps 命令看到的,处于 R 状态(Running 或 Runnable)的进程。

不可中断状态的进程:正处于内核态关键流程中的进程,并且这些流程是不可打断的, 比如最常见的是等待硬件设备的 I/O 响应,也就 是我们在 ps 命令中看到的 D 状态 (Uninterruptible Sleep,也称为 Disk Sleep)的进程。

(比如,当一个进程向磁盘读写数据时,为了保证数据的一致性,在得到磁盘恢复前,它是不能被其他进程或者中 断打断的,这个时候的进程就处于不可中断状态。如果此时的进程被打断了,就容易出现磁盘数据与进程数据不一 致的问题。 所以,不可中断状态实际上是系统对进程和硬件设备的一种保护机制。 )

查看系统平均负载

uptime来查看系统负载:

结果解析

23:13:37 //当前时间

up 440 days //系统运行时间

4 users //正在登录用户数

load average: 0.10, 0.06, 0.05 //依次是过去1分钟、5分钟、15分钟的平均负载。

说明:如果 1 分钟、5 分钟、15 分钟的三个值基本相同,或者相差不大,那就说明系统负载很平稳。 如果 1分钟的值远小于15分钟的值,就说明系统最近1分钟的负载在减少,而过去15分钟内却有很大的负载。 如果 1分钟的值远大于15分钟的值,就说明最近1分钟的负载在增加,这种 增加有可能只是临时性的,也有可能还会持续增加下去,所以就需要持续观察。一旦 1分钟的平均负载接近或超过了 CPU 的个数,就意味着系统正在发生过载的问题,这时就 得分析调查是哪里导致的问题,并要想办法优化了。

平均负载合理值

平均负载最理想的情况是等于 CPU 个数。所以在评判平均负载时,首先你要知道系统有几个 CPU,这可以通过top 命令或者从文件 /proc/cpuinfo 中读取,比如:

1
grep 'model name' /proc/cpuinfo | wc -l

举个例子假设我们在一个单 CPU 系统上看到平均负载为 1.88,0.70,6.76, 那么说明在过去 1 分钟内,系统有 188% 的超载,而在 15 分钟内,有 676% 的超载,从 整体趋势来看,系统的负载在降低。当平均负载高于 CPU 数量 70% 的时候,就应该分析排查负载高的问题了(70% 这个数字并不是绝对的,最推荐的方法)。

平均负载和CPU使用率的关系

我们经常容易把平均负载和 CPU 使用率混淆,来区分一下。 虽然平均负载代表的是活跃进程数,那平均负载高了,不就意味着 CPU 使用率高吗? 我们还是要回到平均负载的含义上来,平均负载是指单位时间内,处于可运行状态和不可中断状态的进程数。所以,它不仅包括了正在使用 CPU 的进程,还包括等待 CPU 和等待 I/O 的进程。 而CPU使用率,是单位时间内CPU繁忙情况的统计,跟平均负载并不一定完全对应。比如:

  • CPU 密集型进程,使用大量 CPU 会导致平均负载升高,此时这两者是一致的;
  • I/O 密集型进程,等待 I/O 也会导致平均负载升高,但 CPU 使用率不一定很高;
  • 大量等待 CPU 的进程调度也会导致平均负载升高,此时的 CPU 使用率也会比较高。

stress工具介绍

stress是一个Linux 系统压力测试工具,我们这里通过异常进程模拟平均负载升高的场景 。

参数介绍

sysstat工具介绍

包含了常用的 Linux 性能工具,用来监控和分析系统的性能,我们会用到 mpstat 和 pidstat 两个命令 。

mpstat

  • 常用的多核 CPU 性能分析工具;
  • 实时查看每个 CPU 的性能指标以及所有 CPU 的平均指标。

pidstat

  • 常用的进程性能分析工具
  • 实时查看进程的 CPU、内存、I/O 以及上下文切换等性能指标

安装sysstat与stress

分别执行如下指令:

1
yum -y install sysstat
1
2
3
yum install -y epel-release

yum install stress -y

场景一 模拟CPU密集型进程

第一个终端,我们运行stress命令,模拟一个CPU密集型的计算任务:

1
2
[root@ebs-62905 lyj]# stress --cpu 1 --timeout 600
stress: info: [3331] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd

第二个终端,运行uptime查看系统平均负载情况,-d参数表示高亮显示变化的区域:

可以观察到最近1分钟的平均负载会增加到1.00

第三个终端,运行mpstat指令查看CPU使用率的变化情况:

可以看到其中有一个CPU的使用率(%usr)接近100%,但它的iowait只有0,这说明平均负载的升高正是由于CPU使用率为100%。

接下来我们排查哪个进程导致CPU的使用率是这么高的。

我们使用pidstat来查询,pidstat的参数如下:

1
2
3
4
5
6
7
# pidstat [ 选项 ] [ <时间间隔> ] [ <次数> ]
# -u:默认的参数,显示各个进程的cpu使用统计
# -r:显示各个进程的内存使用统计
# -d:显示各个进程的IO使用情况
# -p:指定进程号
# -w:显示每个进程的上下文切换情况
# -t:显示选择任务的线程的统计信息外的额外信息

在终端执行pidstat指令查看CPU使用率:

可以看到stress进程的CPU使用率为99.8%。

场景二 模拟IO密集型的场景

第一个终端,运行 stress 命令,模拟 I/O 压力:

1
2
3
4
# --hdd N 产生 N 个进程每个进程执行 write() 和 unlink() 的进程
# --hdd-bytes B 每个 hdd worker 写入 B 字节(默认为1GB)
[root@ebs-62905 lyj]# stress --hdd 1 -t 600 --hdd-bytes 4G
stress: info: [7936] dispatching hogs: 0 cpu, 0 io, 0 vm, 1 hdd

第二个终端是运行uptime查看CPU平均负载情况,-d 参数表示高亮显示变化的区域:

可以看到CPU的平均负载率很高。

第三个终端,运行 mpstat 查看 CPU 使用率的变化情况:

%iowait的值过高,表示硬盘存在I/O瓶颈,I/O操作占用的系统资源较高,%idle值高,表示CPU较空闲。

到底是哪个进程,导致 iowait 这么高呢?我们还是用 pidstat 来查询:

可以看到stress进程占用的CPU较高,系统占有率也比较高,从而可以定位问题。

总结

我们知道了平均负载率的概念,会使用stress及sysstat性能测试工具来查看系统的指标,通过两个具体的案例(CPU密集型及IO密集型)来实战体会系统的指标。