Linux 服务器 CPU 使用率飙高:从 top 到火焰图的排查实战
【摘要】 服务器 CPU 使用率突然飙到 100%,业务开始卡顿,告警电话一个接一个。这类问题几乎每个运维都遇到过,处理思路其实可以固定下来:先分清是谁在用 CPU,再定位到线程与函数,最后对症下药。本文记录一套可复用的排查方法。 一、先分清:是真忙,还是假忙CPU 飙高第一步不是急着杀进程,而是看清这 100% 的构成。top 里按 1 可以查看每个核的占用:%us 高说明业务代码在跑;%sy 高往...
服务器 CPU 使用率突然飙到 100%,业务开始卡顿,告警电话一个接一个。这类问题几乎每个运维都遇到过,处理思路其实可以固定下来:先分清是谁在用 CPU,再定位到线程与函数,最后对症下药。本文记录一套可复用的排查方法。
一、先分清:是真忙,还是假忙
CPU 飙高第一步不是急着杀进程,而是看清这 100% 的构成。top 里按 1 可以查看每个核的占用:%us 高说明业务代码在跑;%sy 高往往是系统调用频繁或锁竞争;%wa 高说明磁盘 I/O 在拖后腿;%si 高则要怀疑网卡软中断风暴。先分清类型,再决定查哪里。
二、三条命令,十分钟定位
top -H -p <PID>:查看线程级占用,找到吃 CPU 的具体线程。pidstat -u -t -p <PID> 1 5:按线程采样,确认是持续高占用还是瞬时毛刺。perf top:查看热点函数,区分是业务代码、GC 还是内核路径在消耗 CPU。
三、常见病因与对症处理
- 死循环或自旋锁:单线程占满一个核,用
jstack或py-spy抓栈,循环点一目了然。 - GC 频繁:应用卡顿但
%sy不高,查 GC 日志,调大堆内存或更换收集器。 - 连接风暴:短连接太多导致大量 TIME_WAIT,
ss -s一看便知,改长连接或调整内核参数。 - 定时任务扎堆:多个 cron 在整点集中触发,错峰执行即可缓解。
四、火焰图:一张图定性
perf record -F 99 -a -g -- sleep 30 采样后生成火焰图:横向看宽度定量,纵向看调用链定性。宽度最大的那一列,就是 CPU 真正花掉的地方,比凭感觉猜要可靠得多。
五、事后复盘与预防
把结论写进值班手册,给关键进程加 systemd 的 CPUQuota 兜底,对核心指标做告警:单核持续 90% 超过 5 分钟就通知值班人。CPU 问题不可怕,可怕的是每次都从零开始查。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)