Linux系统性能优化思路及方法一览
2023-03-18 07:44:11 
阿炯
一、影响 linux 性能的各种因素
1、系统硬件资源
(1)CPU
如何判断多核 CPU 与超线程，消耗 CPU 的业务：动态 web 服务、mail 服务。
(2)内存
物理内存与 swap 的取舍，选择 64 位 Linux 操作系统。消耗内存的业务：内存数据库(redis/hbase/mongodb)。
(3)磁盘 IO
RAID 技术(RAID0/1/5/01/10)，SSD 磁盘。消耗磁盘的业务：数据库服务器。
(4)网络带宽
网卡/交换机的选择，操作系统双网卡绑定。消耗带宽的业务：hadoop 平台、视频业务平台。
2、操作系统相关资源
(1)系统安装优化
磁盘分区、RAID 设置、swap 设置
(2)内核参数优化
ulimit -n(最大打开文件数)
ulimit -u(最大用户数)
(3)文件系统优化
ext2：Linux 下标准文件系统，无日志记录(inode)功能。
ext3：在ext2 基础上增加了日志记录功能(inode)，仅支持 32000 个子目录。
ex4：ext3 的后续版本，Linux2.6.28 内核开始支持。无限子目录支持，快速 fsck。
xfs：高性能文件系统，Linux3.10 内核开始默认支持。
建议：读操作频繁，同时小文件众多的应用：首选 ext4 文件系统，接下来依次是 xfs、ext3；写操作频繁的应用，首选是 xfs，接下来依次是 ext4 和 ext3；对性能、数据安全要求高的业务，ext3 是比较好的选择。
3、程序问题
此类问题需要开发人员查看代码，介入处理。但作为运维人员需要给出程序问题的有力证据。
二、Linux 性能优化工具
系统状态分析及采集工具集Sysstat是业界推荐的工具，非常值得关注和使用。
1、CPU 性能评估工具
(1)vmstat(系统默认自带)
利用 vmstat 命令可以对操作系统的内存信息、进程状态、CPU活劢等进行监视。常用方式：vmstat 2 3
表示每 3 秒更新一次输出信息，统计 5 次后停止输出。
对上面每项的输出解释如下：
procs
r 列表示运行和等待 cpu 时间片的进程数， 这个值如果长期大于系统CPU 的个数，说明 CPU 不足，需要增加 CPU。
b 列表示在等待资源的进程数，比如正在等待 I/O、或者内存交换等。
memory
swpd 列表示切换到内存交换区的内存数量(以 k为单位) 。如果 swpd 的值不为0，或者比较大，只要 si、so 的值长期为 0，这种情况下一般不用担心，不会影响系统性能。
free列表示当前空闲的物理内存数量(以 k为单位)
buff 列表示 buffers cache的内存数量，一般对块设备的读写才需要缓冲。
cache列表示 Page Cached 的内存数量，一般作为文件系统 cached，频繁访问的文件都会被 cached，如果 cache 值较大，说明 cached 的文件数较多，如果此时 IO 中 bi比较小，说明文件系统效率比较好。
swap
si列表示由磁盘调入内存，也就是内存进入内存交换区的数量。
so 列表示由内存调入磁盘，也就是内存交换区进入内存的数量。
一般情况下， si、 so 的值都为 0， 如果 si、 so 的值长期不为 0， 则表示系统内存不足。需要增加系统内存。
IO 项显示磁盘读写状况
Bi列表示从块设备读入数据的总量(即读磁盘)(每秒 kb) ；
Bo 列表示写入到块设备的数据总量(即写磁盘)(每秒 kb)。
设置的 bi+bo 参考值为 1000，如果超过 1000，而且 wa值较大，则表示系统磁盘 IO 有问题，应该考虑提高磁盘的读写性能。
system 显示采集间隔内发生的中断数
in 列表示在某一时间间隔中观测到的每秒设备中断数。
cs 列表示每秒产生的上下文切换次数。
上面这 2 个值越大，会看到由内核消耗的 CPU 时间会越多。
CPU 项显示了 CPU 的使用状态，此列是关注的重点。
us 列显示了用户进程消耗的 CPU 时间百分比。us 的值比较高时，说明用户进程消耗的 cpu 时间多，但是如果长期大于 50%，就需要考虑优化程序或算法。
sy列显示了内核进程消耗的 CPU 时间百分比。Sy的值较高时，说明内核消耗的CPU 资源很多。
根据经验， us+sy的参考值为 80%， 如果 us+sy大于 80%说明可能存在 CPU 资源不足。
id 列显示了 CPU 处在空闲状态的时间百分比。
wa 列显示了 IO 等待所占用的 CPU 时间百分比。wa 值越高，说明 IO 等待越严重，根据经验，wa 的参考值为 20%，如果 wa 超过 20%，说明 IO 等待严重，引起 IO 等待的原因可能是磁盘大量随机读写造成的，也可能是磁盘或者磁盘控制器的带宽瓶颈造成的(主要是块操作) 。
综上所述， 在对 CPU 的评估中， 需要重点注意的是procs 项 r 列的值和 CPU 项中 us、sy和 id 列的值。
(2)iostat
iostat 是 I/O statistics(输入/输出统计)的缩写，主要的功能是对系统的磁盘 I/O 操作进行监视。常用方式：iostat -c 3 5
其中，-c 表示显示CPU 的使用情况，-d：显示磁盘的使用情况。
(3)uptime 命令
uptime是监控系统性能最常用的一个命令，主要用来统计系统当前的运行状况，输出的信息依次为：系统现在的时间、系统从上次开机到现在运行了多长时间、系统目前有多少登陆用户、系统在一分钟内、五分钟内、十五分钟内的平均负载。
2、内存性能评估
(1)free 命令
free 命令是监控 linux 内存使用状况最常用的指令，常见用法：free –m
“free –m”表示以 M为单位查看内存使用情况，在这个输出中，我们重点关注的应该是 free 列与 cached 列的输出值，由输出可知，此系统共 8G 内存，系统空闲内存还有925M，其中，Buffer Cache 占用了 243M，Page Cache 占用了 6299M，由此可知系统缓存了很多的文件和目录，而对于应用程序来说，可以使用的内存还有 7468M，当然这个 7468M 包含了 Buffer Cache 和 Page Cache 的值。在 swap 项可以看出，交换分区还未使用。所以从应用的角度来说，此系统内存资源还非常充足。
一般有这样一个经验公式：应用程序可用内存/系统物理内存>70%时，表示系统内存资源非常充足，不影响系统性能，应用程序可用内存/系统物理内存<20%时，表示系统内存资源紧缺，需要增加系统内存，20%<应用程序可用内存/系统物理内存<70%时，表示系统内存资源基本能满足应用需求，暂时不影响系统性能。
(2)sar/pidstat
此两个命令主要用于监控全部或指定进程占用系统资源的情况，如 CPU，内存、设备IO。三个公用参数：-u(获取 CPU 状态) 、-r(获取内存状态) 、-d(获取磁盘)
常用组合：
sar -u 3 获取 cpu 3 秒内的状态
pidstat -r –p 1 3 获取内存 3 秒内的状态
其中：
Kbmemfree 表示空闲物理内存大小，kbmemused 表示已使用的物理内存空间大小，%memused 表示已使用内存占总内存大小的百分比，kbbuffers 和 kbcached 分别表示Buffer Cache 和 Page Cache 的大小，kbcommit 和%commit 分别表示应用程序当前使用的内存大小和使用百分比。可以看出 sar 的输出其实与 free的输出完全对应，不过 sar 更加人性化，不但给出了内存使用量，还给出了内存使用的百分比以及统计的平均值。从%commit 项可知，此系统目前内存资源充足。
3、磁盘性能评估
(1)iostat –d 组合
iostat –d 2 3
通过“iostat –d”命令组合也可以查看系统磁盘的使用状况：
Blk_read/s 表示每秒读取的数据块数。
Blk_wrtn/s 表示每秒写入的数据块数。
Blk_read 表示读取的所有块数。
Blk_wrtn 表示写入的所有块数。
(2)pidstat -d -p 31887 3
(3)sar -d 2 3
通过“sar –d”组合，可以对系统的磁盘 IO 做一个基本的统计：
DEV 表示磁盘设备名称。
tps 表示每秒到物理磁盘的传送数，也就是每秒的 I/O 流量。一个传送就是一个 I/O 请求，多个逻辑请求可以被合并为一个物理 I/O 请求。
rd_sec/s 表示每秒从设备读取的扇区数(1 扇区=512 字节)。
wr_sec/s 表示每秒写入设备的扇区数目。
avgrq-sz 表示平均每次设备 I/O 操作的数据大小(以扇区为单位) 。
avgqu-sz 表示平均 I/O 队列长度。
await 表示平均每次设备 I/O 操作的等待时间(以毫秒为单位) 。
svctm表示平均每次设备 I/O 操作的服务时间(以毫秒为单位) 。
%util表示一秒中有百分之几的时间用于 I/O 操作。
Linux 中 I/O 请求系统与现实生活中超市购物排队系统有很多类似的地方，通过对超市购物排队系统的理解，可以很快掌握 linux 中 I/O 运行机制。比如：
avgrq-sz 类似于超市排队中每人所买东西的多少。
avgqu-sz 类似于超市排队中单位时间内平均排队的人数。
await 类似于超市排队中每人的等待时间。
svctm类似于超市排队中收银员的收款速度。
%util类似于超市收银台前有人排队的时间比例。
对于磁盘 IO 性能，一般有如下评判标准：正常情况下 svctm 应该是小于 await 值的，而 svctm 的大小和磁盘性能有关，CPU、内存的负荷也会对 svctm值造成影响，过多的请求也会间接的导致 svctm值的增加。
await 值的大小一般取决于 svctm 的值和 I/O 队列长度以及 I/O 请求模式，如果 svctm的值与 await 很接近，表示几乎没有 I/O 等待，磁盘性能很好，如果 await 的值远高于 svctm的值，则表示 I/O 队列等待太长，系统上运行的应用程序将变慢，此时可以通过更换更快的硬盘来解决问题。
%util 项的值也是衡量磁盘 I/O 的一个重要指标，如果%util 接近 100%，表示磁盘产生的 I/O 请求太多，I/O 系统已经满负荷的在工作，该磁盘可能存在瓶颈。长期下去，势必影响系统的性能，可以通过优化程序或者通过更换更高、更快的磁盘来解决此问题。
4、网络性能评估
(1)ping 命令
在这个输出中，time值显示了两台主机之间的网络延时情况，如果此值很大，则表示网络的延时很大，单位为毫秒。在这个输出的最后，是对上面输出信息的一个总结，packet loss 表示网络的丢包率，此值越小，表示网络的质量越高。
(2)netstat 命令
netstat –i (查看路由情况)
netstat –r(查看网络接口状态)
(3)mtr/traceroute 命令
跟踪网络路由状态，推荐使用 mtr，动态跟踪网络路由，用于排除网络问题非常方便。
三、系统性能分析标准
四、问题综合分析
分析问题的方法论
套用5W2H方法，可以提出性能分析的几个问题：
1.What-现象是什么样的
2.When-什么时候发生
3.Why-为什么会发生
4.Where-哪个地方发生的问题
5.How much-耗费了多少资源
6.How to do-怎么解决问题
系统负载
Load 就是对计算机干活多少的度量（WikiPedia：the system Load is a measure of the amount of work that a compute system is doing）简单的说是进程队列的长度。Load Average 就是一段时间（1分钟、5分钟、15分钟）内平均Load。
分析工具及其使用方式
uptime、top、vmstat //查看负载情况
strace -c -p pid //统计系统调用耗时情况
strace -T -e epoll_wait -p pid //跟踪指定的系统操作例如epoll_wait
dmesg //查看内核日志信息
CPU
针对应用程序通常关注的是内核CPU调度器功能和性能。线程的状态分析主要是分析线程的时间用在什么地方，而线程状态的分类一般分为：
1.on-CPU：执行中，执行中的时间通常又分为用户态时间user和系统态时间sys。
2.off-CPU：等待下一轮上CPU，或者等待I/O、锁、换页等等，其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。
如果大量时间花在CPU上，对CPU的剖析能够迅速解释原因；如果系统时间大量处于off-cpu状态，定位问题就会费时很多。但是仍然需要清楚一些概念：处理器、核心、硬件线程、CPU内存缓存、时钟频率、每指令周期数CPI和每周期指令数IPC、CPU指令、使用率、用户与内核时间、调度器、运行队列、抢占、多进程、多线程、字长。
分析工具
uptime,vmstat,mpstat,top,pidstat只能查询到cpu及负载的的使用情况。
perf可以跟着到进程内部具体函数耗时情况，并且可以指定内核函数进行统计。
用方式
top //查看系统cpu使用情况
mpstat -P ALL 1 //查看所有cpu核信息
vmstat 1 //查看cpu使用情况以及平均负载
pidstat -u 1 -p pid //进程cpu的统计信息
perf top -p pid -e cpu-clock //跟踪进程内部函数级cpu使用情况
内存
内存是为提高效率而生，实际分析问题的时候，内存出现问题可能不只是影响性能，而是影响服务或者引起其他问题。同样对于内存有些概念需要清楚：
主存、虚拟内存、常驻内存、地址空间、OOM、页缓存、缺页、换页、交换空间、交换、用户分配器libc、glibc、libmalloc和mtmalloc、内核级Slub分配器
分析工具
free,vmstat,top,pidstat,pmap只能统计内存信息以及进程的内存使用情况。
valgrind可以分析内存泄漏问题。
dtrace动态跟踪。需要对内核函数有很深入的了解，通过D语言编写脚本完成跟踪。
使用方式
free -m //查看系统内存使用情况
vmstat 1 //虚拟内存统计信息
top //查看系统内存情况
pidstat -p pid -r 1 //每秒(1s)采集并获取内存的统计信息
pmap -d pid //查看进程的内存映像信息
//检测程序内存问题
valgrind --tool=memcheck --leak-check=full --log-file=./log.txt ./应用程序名
硬盘IO
硬盘通常是计算机最慢的子系统，也是最容易出现性能瓶颈的地方，因为磁盘离 CPU 距离最远而且 CPU 访问磁盘要涉及到机械操作，比如转轴、寻轨等。访问硬盘和访问内存之间的速度差别是以数量级来计算的，就像1天和1分钟的差别一样。要监测 IO 性能，有必要了解一下基本原理和 Linux 是如何处理硬盘和内存之间的 IO 的。在理解磁盘IO之前，同样我们需要理解一些概念，例如：
文件系统、VFS、文件系统缓存、页缓存page cache、缓冲区高速缓存buffer cache、目录缓存、inode(缓存)、noop调用策略
分析工具及其使用方式
iotop //查看系统io信息
iostat -d -x -k 1 10 //统计io详细信息
pidstat -d 1 -p pid //查看进程级io的信息
//查看系统IO的请求，比如可以在发现系统IO异常时，可以使用该命令进行调查，就能指定到底是什么原因导致的IO异常
perf record -e block:block_rq_issue -ag
perf report
网络
网络的监测是所有 Linux 子系统里面最复杂的，有太多的因素在里面，比如：延迟、阻塞、冲突、丢包等，更糟的是与主机相连的路由器、交换机、无线信号都会影响到整体网络并且很难判断是因为 Linux 网络子系统的问题还是别的设备的问题，增加了监测和判断的复杂度。现在使用的所有网卡都称为自适应网卡，意思是说能根据网络上的不同网络设备导致的不同网络速度和工作模式进行自动调整。
分析工具及其使用方式
netstat -s //显示网络统计信息
netstat -nu //显示当前UDP连接状况
netstat -apu //显示UDP端口号的使用情况
//统计机器中网络连接各个状态个数
netstat -a | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
ss -t -a //显示TCP连接
ss -s //显示sockets摘要信息
ss -u -a //显示所有udp sockets
sar -n TCP,ETCP 1 //tcp,etcp状态
sar -n DEV 1 //查看网络IO
tcpdump -i eth1 host 192.168.1.1 and port 80 //抓包以包为单位进行输出
tcpflow -cp host 192.168.1.1 //抓包以流为单位显示数据内容
综合工具一览
stress 是一个 Linux 系统压力测试命令工具，用作异常进程模拟平均负载升高的场景。–cpu cpu压测选项，-i io压测选项，-c 进程数压测选项，–timeout 执行时间。
sysbench 来模拟系统多线程调度切换的情况
显示平均负载：uptime、top，显示的顺序是最近1分钟、5分钟、15分钟，从此可以看出平均负载的趋势。
sysstat 包含了常用的 Linux 性能工具，用来监控和分析系统是的性能，找出平均负载升高的根源，包括几个命令 mpstat 和 pidstat，iostat。
mpstat：多核cpu性能分析工具，-P ALL监视所有cpu，cswch ，表示每秒自愿上下文切换的次数，nvcswch ，表示每秒非自愿上下文切换的次数。
pidstat：进程性能分析工具，-u 显示cpu利用率
iostat：IO性能分析工具
vmstat 是一个常用的系统性能分析工具，主要用来分析系统的内存使用情况，也常用来分析 CPU 上下文切换和中断的次数。
cs（context switch）是每秒上下文切换的次数。
in（interrupt）则是每秒中断的次数。
r（Running or Runnable）是就绪队列的长度，也就是正在运行和等待 CPU 的进程数。
b（Blocked）则是处于不可中断睡眠状态的进程数。
/proc/interrupts 系统中断次数
/proc/stat 系统进程整体的统计信息
perf 是 Linux 2.6.31 以后内置的性能分析工具。它以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可以用来分析指定应用程序的性能问题。perf top，类似于 top，它能够实时显示占用 CPU 时钟最多的函数或者指令，因此可以用来查找热点函数。perf top 虽然实时展示了系统的性能信息，但它的缺点是并不保存数据，也就无法用于离线或者后续的分析。而 perf record 则提供了保存数据的功能，保存后的数据，需要你用 perf report 解析展示。在实际使用中，我们还经常为 perf top 和 perf record 加上 -g 参数，开启调用关系的采样，方便我们根据调用链来分析性能问题。
pstree 就可以用树状形式显示所有进程之间的关系。
execsnoop 就是一个专为短时进程设计的工具。它通过 ftrace 实时监控进程的 exec() 行为，并输出短时进程的基本信息，包括进程 PID、父进程 PID、命令行参数以及执行的结果。
dstat 可以同时查看 CPU 和 I/O 这两种资源的使用情况，便于对比分析。
一般来说，先通过uptime查看系统负载，然后使用mpstat结合pidstat来初步判断到底是cpu计算量大还是进程争抢过大或者是io过多，接着使用vmstat分析切换次数，以及切换类型，来进一步判断到底是io过多导致问题还是进程争抢激烈导致问题。
1、系统硬件资源
(1)CPU
如何判断多核 CPU 与超线程，消耗 CPU 的业务：动态 web 服务、mail 服务。
(2)内存
物理内存与 swap 的取舍，选择 64 位 Linux 操作系统。消耗内存的业务：内存数据库(redis/hbase/mongodb)。
(3)磁盘 IO
RAID 技术(RAID0/1/5/01/10)，SSD 磁盘。消耗磁盘的业务：数据库服务器。
(4)网络带宽
网卡/交换机的选择，操作系统双网卡绑定。消耗带宽的业务：hadoop 平台、视频业务平台。
2、操作系统相关资源
(1)系统安装优化
磁盘分区、RAID 设置、swap 设置
(2)内核参数优化
ulimit -n(最大打开文件数)
ulimit -u(最大用户数)
(3)文件系统优化
ext2：Linux 下标准文件系统，无日志记录(inode)功能。
ext3：在ext2 基础上增加了日志记录功能(inode)，仅支持 32000 个子目录。
ex4：ext3 的后续版本，Linux2.6.28 内核开始支持。无限子目录支持，快速 fsck。
xfs：高性能文件系统，Linux3.10 内核开始默认支持。
建议：读操作频繁，同时小文件众多的应用：首选 ext4 文件系统，接下来依次是 xfs、ext3；写操作频繁的应用，首选是 xfs，接下来依次是 ext4 和 ext3；对性能、数据安全要求高的业务，ext3 是比较好的选择。
3、程序问题
此类问题需要开发人员查看代码，介入处理。但作为运维人员需要给出程序问题的有力证据。
二、Linux 性能优化工具
系统状态分析及采集工具集Sysstat是业界推荐的工具，非常值得关注和使用。
1、CPU 性能评估工具
(1)vmstat(系统默认自带)
利用 vmstat 命令可以对操作系统的内存信息、进程状态、CPU活劢等进行监视。常用方式：vmstat 2 3
表示每 3 秒更新一次输出信息，统计 5 次后停止输出。
对上面每项的输出解释如下：
procs
r 列表示运行和等待 cpu 时间片的进程数， 这个值如果长期大于系统CPU 的个数，说明 CPU 不足，需要增加 CPU。
b 列表示在等待资源的进程数，比如正在等待 I/O、或者内存交换等。
memory
swpd 列表示切换到内存交换区的内存数量(以 k为单位) 。如果 swpd 的值不为0，或者比较大，只要 si、so 的值长期为 0，这种情况下一般不用担心，不会影响系统性能。
free列表示当前空闲的物理内存数量(以 k为单位)
buff 列表示 buffers cache的内存数量，一般对块设备的读写才需要缓冲。
cache列表示 Page Cached 的内存数量，一般作为文件系统 cached，频繁访问的文件都会被 cached，如果 cache 值较大，说明 cached 的文件数较多，如果此时 IO 中 bi比较小，说明文件系统效率比较好。
swap
si列表示由磁盘调入内存，也就是内存进入内存交换区的数量。
so 列表示由内存调入磁盘，也就是内存交换区进入内存的数量。
一般情况下， si、 so 的值都为 0， 如果 si、 so 的值长期不为 0， 则表示系统内存不足。需要增加系统内存。
IO 项显示磁盘读写状况
Bi列表示从块设备读入数据的总量(即读磁盘)(每秒 kb) ；
Bo 列表示写入到块设备的数据总量(即写磁盘)(每秒 kb)。
设置的 bi+bo 参考值为 1000，如果超过 1000，而且 wa值较大，则表示系统磁盘 IO 有问题，应该考虑提高磁盘的读写性能。
system 显示采集间隔内发生的中断数
in 列表示在某一时间间隔中观测到的每秒设备中断数。
cs 列表示每秒产生的上下文切换次数。
上面这 2 个值越大，会看到由内核消耗的 CPU 时间会越多。
CPU 项显示了 CPU 的使用状态，此列是关注的重点。
us 列显示了用户进程消耗的 CPU 时间百分比。us 的值比较高时，说明用户进程消耗的 cpu 时间多，但是如果长期大于 50%，就需要考虑优化程序或算法。
sy列显示了内核进程消耗的 CPU 时间百分比。Sy的值较高时，说明内核消耗的CPU 资源很多。
根据经验， us+sy的参考值为 80%， 如果 us+sy大于 80%说明可能存在 CPU 资源不足。
id 列显示了 CPU 处在空闲状态的时间百分比。
wa 列显示了 IO 等待所占用的 CPU 时间百分比。wa 值越高，说明 IO 等待越严重，根据经验，wa 的参考值为 20%，如果 wa 超过 20%，说明 IO 等待严重，引起 IO 等待的原因可能是磁盘大量随机读写造成的，也可能是磁盘或者磁盘控制器的带宽瓶颈造成的(主要是块操作) 。
综上所述， 在对 CPU 的评估中， 需要重点注意的是procs 项 r 列的值和 CPU 项中 us、sy和 id 列的值。
(2)iostat
iostat 是 I/O statistics(输入/输出统计)的缩写，主要的功能是对系统的磁盘 I/O 操作进行监视。常用方式：iostat -c 3 5
其中，-c 表示显示CPU 的使用情况，-d：显示磁盘的使用情况。
(3)uptime 命令
uptime是监控系统性能最常用的一个命令，主要用来统计系统当前的运行状况，输出的信息依次为：系统现在的时间、系统从上次开机到现在运行了多长时间、系统目前有多少登陆用户、系统在一分钟内、五分钟内、十五分钟内的平均负载。
2、内存性能评估
(1)free 命令
free 命令是监控 linux 内存使用状况最常用的指令，常见用法：free –m
“free –m”表示以 M为单位查看内存使用情况，在这个输出中，我们重点关注的应该是 free 列与 cached 列的输出值，由输出可知，此系统共 8G 内存，系统空闲内存还有925M，其中，Buffer Cache 占用了 243M，Page Cache 占用了 6299M，由此可知系统缓存了很多的文件和目录，而对于应用程序来说，可以使用的内存还有 7468M，当然这个 7468M 包含了 Buffer Cache 和 Page Cache 的值。在 swap 项可以看出，交换分区还未使用。所以从应用的角度来说，此系统内存资源还非常充足。
一般有这样一个经验公式：应用程序可用内存/系统物理内存>70%时，表示系统内存资源非常充足，不影响系统性能，应用程序可用内存/系统物理内存<20%时，表示系统内存资源紧缺，需要增加系统内存，20%<应用程序可用内存/系统物理内存<70%时，表示系统内存资源基本能满足应用需求，暂时不影响系统性能。
(2)sar/pidstat
此两个命令主要用于监控全部或指定进程占用系统资源的情况，如 CPU，内存、设备IO。三个公用参数：-u(获取 CPU 状态) 、-r(获取内存状态) 、-d(获取磁盘)
常用组合：
sar -u 3 获取 cpu 3 秒内的状态
pidstat -r –p 1 3 获取内存 3 秒内的状态
其中：
Kbmemfree 表示空闲物理内存大小，kbmemused 表示已使用的物理内存空间大小，%memused 表示已使用内存占总内存大小的百分比，kbbuffers 和 kbcached 分别表示Buffer Cache 和 Page Cache 的大小，kbcommit 和%commit 分别表示应用程序当前使用的内存大小和使用百分比。可以看出 sar 的输出其实与 free的输出完全对应，不过 sar 更加人性化，不但给出了内存使用量，还给出了内存使用的百分比以及统计的平均值。从%commit 项可知，此系统目前内存资源充足。
3、磁盘性能评估
(1)iostat –d 组合
iostat –d 2 3
通过“iostat –d”命令组合也可以查看系统磁盘的使用状况：
Blk_read/s 表示每秒读取的数据块数。
Blk_wrtn/s 表示每秒写入的数据块数。
Blk_read 表示读取的所有块数。
Blk_wrtn 表示写入的所有块数。
(2)pidstat -d -p 31887 3
(3)sar -d 2 3
通过“sar –d”组合，可以对系统的磁盘 IO 做一个基本的统计：
DEV 表示磁盘设备名称。
tps 表示每秒到物理磁盘的传送数，也就是每秒的 I/O 流量。一个传送就是一个 I/O 请求，多个逻辑请求可以被合并为一个物理 I/O 请求。
rd_sec/s 表示每秒从设备读取的扇区数(1 扇区=512 字节)。
wr_sec/s 表示每秒写入设备的扇区数目。
avgrq-sz 表示平均每次设备 I/O 操作的数据大小(以扇区为单位) 。
avgqu-sz 表示平均 I/O 队列长度。
await 表示平均每次设备 I/O 操作的等待时间(以毫秒为单位) 。
svctm表示平均每次设备 I/O 操作的服务时间(以毫秒为单位) 。
%util表示一秒中有百分之几的时间用于 I/O 操作。
Linux 中 I/O 请求系统与现实生活中超市购物排队系统有很多类似的地方，通过对超市购物排队系统的理解，可以很快掌握 linux 中 I/O 运行机制。比如：
avgrq-sz 类似于超市排队中每人所买东西的多少。
avgqu-sz 类似于超市排队中单位时间内平均排队的人数。
await 类似于超市排队中每人的等待时间。
svctm类似于超市排队中收银员的收款速度。
%util类似于超市收银台前有人排队的时间比例。
对于磁盘 IO 性能，一般有如下评判标准：正常情况下 svctm 应该是小于 await 值的，而 svctm 的大小和磁盘性能有关，CPU、内存的负荷也会对 svctm值造成影响，过多的请求也会间接的导致 svctm值的增加。
await 值的大小一般取决于 svctm 的值和 I/O 队列长度以及 I/O 请求模式，如果 svctm的值与 await 很接近，表示几乎没有 I/O 等待，磁盘性能很好，如果 await 的值远高于 svctm的值，则表示 I/O 队列等待太长，系统上运行的应用程序将变慢，此时可以通过更换更快的硬盘来解决问题。
%util 项的值也是衡量磁盘 I/O 的一个重要指标，如果%util 接近 100%，表示磁盘产生的 I/O 请求太多，I/O 系统已经满负荷的在工作，该磁盘可能存在瓶颈。长期下去，势必影响系统的性能，可以通过优化程序或者通过更换更高、更快的磁盘来解决此问题。
4、网络性能评估
(1)ping 命令
在这个输出中，time值显示了两台主机之间的网络延时情况，如果此值很大，则表示网络的延时很大，单位为毫秒。在这个输出的最后，是对上面输出信息的一个总结，packet loss 表示网络的丢包率，此值越小，表示网络的质量越高。
(2)netstat 命令
netstat –i (查看路由情况)
netstat –r(查看网络接口状态)
(3)mtr/traceroute 命令
跟踪网络路由状态，推荐使用 mtr，动态跟踪网络路由，用于排除网络问题非常方便。
三、系统性能分析标准
四、问题综合分析
分析问题的方法论
套用5W2H方法，可以提出性能分析的几个问题：
1.What-现象是什么样的
2.When-什么时候发生
3.Why-为什么会发生
4.Where-哪个地方发生的问题
5.How much-耗费了多少资源
6.How to do-怎么解决问题
系统负载
Load 就是对计算机干活多少的度量（WikiPedia：the system Load is a measure of the amount of work that a compute system is doing）简单的说是进程队列的长度。Load Average 就是一段时间（1分钟、5分钟、15分钟）内平均Load。
分析工具及其使用方式
uptime、top、vmstat //查看负载情况
strace -c -p pid //统计系统调用耗时情况
strace -T -e epoll_wait -p pid //跟踪指定的系统操作例如epoll_wait
dmesg //查看内核日志信息
CPU
针对应用程序通常关注的是内核CPU调度器功能和性能。线程的状态分析主要是分析线程的时间用在什么地方，而线程状态的分类一般分为：
1.on-CPU：执行中，执行中的时间通常又分为用户态时间user和系统态时间sys。
2.off-CPU：等待下一轮上CPU，或者等待I/O、锁、换页等等，其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。
如果大量时间花在CPU上，对CPU的剖析能够迅速解释原因；如果系统时间大量处于off-cpu状态，定位问题就会费时很多。但是仍然需要清楚一些概念：处理器、核心、硬件线程、CPU内存缓存、时钟频率、每指令周期数CPI和每周期指令数IPC、CPU指令、使用率、用户与内核时间、调度器、运行队列、抢占、多进程、多线程、字长。
分析工具
uptime,vmstat,mpstat,top,pidstat只能查询到cpu及负载的的使用情况。
perf可以跟着到进程内部具体函数耗时情况，并且可以指定内核函数进行统计。
用方式
top //查看系统cpu使用情况
mpstat -P ALL 1 //查看所有cpu核信息
vmstat 1 //查看cpu使用情况以及平均负载
pidstat -u 1 -p pid //进程cpu的统计信息
perf top -p pid -e cpu-clock //跟踪进程内部函数级cpu使用情况
内存
内存是为提高效率而生，实际分析问题的时候，内存出现问题可能不只是影响性能，而是影响服务或者引起其他问题。同样对于内存有些概念需要清楚：
主存、虚拟内存、常驻内存、地址空间、OOM、页缓存、缺页、换页、交换空间、交换、用户分配器libc、glibc、libmalloc和mtmalloc、内核级Slub分配器
分析工具
free,vmstat,top,pidstat,pmap只能统计内存信息以及进程的内存使用情况。
valgrind可以分析内存泄漏问题。
dtrace动态跟踪。需要对内核函数有很深入的了解，通过D语言编写脚本完成跟踪。
使用方式
free -m //查看系统内存使用情况
vmstat 1 //虚拟内存统计信息
top //查看系统内存情况
pidstat -p pid -r 1 //每秒(1s)采集并获取内存的统计信息
pmap -d pid //查看进程的内存映像信息
//检测程序内存问题
valgrind --tool=memcheck --leak-check=full --log-file=./log.txt ./应用程序名
硬盘IO
硬盘通常是计算机最慢的子系统，也是最容易出现性能瓶颈的地方，因为磁盘离 CPU 距离最远而且 CPU 访问磁盘要涉及到机械操作，比如转轴、寻轨等。访问硬盘和访问内存之间的速度差别是以数量级来计算的，就像1天和1分钟的差别一样。要监测 IO 性能，有必要了解一下基本原理和 Linux 是如何处理硬盘和内存之间的 IO 的。在理解磁盘IO之前，同样我们需要理解一些概念，例如：
文件系统、VFS、文件系统缓存、页缓存page cache、缓冲区高速缓存buffer cache、目录缓存、inode(缓存)、noop调用策略
分析工具及其使用方式
iotop //查看系统io信息
iostat -d -x -k 1 10 //统计io详细信息
pidstat -d 1 -p pid //查看进程级io的信息
//查看系统IO的请求，比如可以在发现系统IO异常时，可以使用该命令进行调查，就能指定到底是什么原因导致的IO异常
perf record -e block:block_rq_issue -ag
perf report
网络
网络的监测是所有 Linux 子系统里面最复杂的，有太多的因素在里面，比如：延迟、阻塞、冲突、丢包等，更糟的是与主机相连的路由器、交换机、无线信号都会影响到整体网络并且很难判断是因为 Linux 网络子系统的问题还是别的设备的问题，增加了监测和判断的复杂度。现在使用的所有网卡都称为自适应网卡，意思是说能根据网络上的不同网络设备导致的不同网络速度和工作模式进行自动调整。
分析工具及其使用方式
netstat -s //显示网络统计信息
netstat -nu //显示当前UDP连接状况
netstat -apu //显示UDP端口号的使用情况
//统计机器中网络连接各个状态个数
netstat -a | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
ss -t -a //显示TCP连接
ss -s //显示sockets摘要信息
ss -u -a //显示所有udp sockets
sar -n TCP,ETCP 1 //tcp,etcp状态
sar -n DEV 1 //查看网络IO
tcpdump -i eth1 host 192.168.1.1 and port 80 //抓包以包为单位进行输出
tcpflow -cp host 192.168.1.1 //抓包以流为单位显示数据内容
综合工具一览
stress 是一个 Linux 系统压力测试命令工具，用作异常进程模拟平均负载升高的场景。–cpu cpu压测选项，-i io压测选项，-c 进程数压测选项，–timeout 执行时间。
sysbench 来模拟系统多线程调度切换的情况
显示平均负载：uptime、top，显示的顺序是最近1分钟、5分钟、15分钟，从此可以看出平均负载的趋势。
sysstat 包含了常用的 Linux 性能工具，用来监控和分析系统是的性能，找出平均负载升高的根源，包括几个命令 mpstat 和 pidstat，iostat。
mpstat：多核cpu性能分析工具，-P ALL监视所有cpu，cswch ，表示每秒自愿上下文切换的次数，nvcswch ，表示每秒非自愿上下文切换的次数。
pidstat：进程性能分析工具，-u 显示cpu利用率
iostat：IO性能分析工具
vmstat 是一个常用的系统性能分析工具，主要用来分析系统的内存使用情况，也常用来分析 CPU 上下文切换和中断的次数。
cs（context switch）是每秒上下文切换的次数。
in（interrupt）则是每秒中断的次数。
r（Running or Runnable）是就绪队列的长度，也就是正在运行和等待 CPU 的进程数。
b（Blocked）则是处于不可中断睡眠状态的进程数。
/proc/interrupts 系统中断次数
/proc/stat 系统进程整体的统计信息
perf 是 Linux 2.6.31 以后内置的性能分析工具。它以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可以用来分析指定应用程序的性能问题。perf top，类似于 top，它能够实时显示占用 CPU 时钟最多的函数或者指令，因此可以用来查找热点函数。perf top 虽然实时展示了系统的性能信息，但它的缺点是并不保存数据，也就无法用于离线或者后续的分析。而 perf record 则提供了保存数据的功能，保存后的数据，需要你用 perf report 解析展示。在实际使用中，我们还经常为 perf top 和 perf record 加上 -g 参数，开启调用关系的采样，方便我们根据调用链来分析性能问题。
pstree 就可以用树状形式显示所有进程之间的关系。
execsnoop 就是一个专为短时进程设计的工具。它通过 ftrace 实时监控进程的 exec() 行为，并输出短时进程的基本信息，包括进程 PID、父进程 PID、命令行参数以及执行的结果。
dstat 可以同时查看 CPU 和 I/O 这两种资源的使用情况，便于对比分析。
一般来说，先通过uptime查看系统负载，然后使用mpstat结合pidstat来初步判断到底是cpu计算量大还是进程争抢过大或者是io过多，接着使用vmstat分析切换次数，以及切换类型，来进一步判断到底是io过多导致问题还是进程争抢激烈导致问题。