Linux 服务器 CPU 使用率飙高:从 top 到火焰图的排查实战

举报
yd_274862470 发表于 2026/11/18 14:29:18 2026/11/18
【摘要】 服务器 CPU 使用率突然飙到 100%,业务开始卡顿,告警电话一个接一个。这类问题几乎每个运维都遇到过,处理思路其实可以固定下来:先分清是谁在用 CPU,再定位到线程与函数,最后对症下药。本文记录一套可复用的排查方法。 一、先分清:是真忙,还是假忙CPU 飙高第一步不是急着杀进程,而是看清这 100% 的构成。top 里按 1 可以查看每个核的占用:%us 高说明业务代码在跑;%sy 高往...

服务器 CPU 使用率突然飙到 100%,业务开始卡顿,告警电话一个接一个。这类问题几乎每个运维都遇到过,处理思路其实可以固定下来:先分清是谁在用 CPU,再定位到线程与函数,最后对症下药。本文记录一套可复用的排查方法。

一、先分清:是真忙,还是假忙

CPU 飙高第一步不是急着杀进程,而是看清这 100% 的构成。top 里按 1 可以查看每个核的占用:%us 高说明业务代码在跑;%sy 高往往是系统调用频繁或锁竞争;%wa 高说明磁盘 I/O 在拖后腿;%si 高则要怀疑网卡软中断风暴。先分清类型,再决定查哪里。

二、三条命令,十分钟定位

  1. top -H -p <PID>:查看线程级占用,找到吃 CPU 的具体线程。
  2. pidstat -u -t -p <PID> 1 5:按线程采样,确认是持续高占用还是瞬时毛刺。
  3. perf top:查看热点函数,区分是业务代码、GC 还是内核路径在消耗 CPU。

三、常见病因与对症处理

  • 死循环或自旋锁:单线程占满一个核,用 jstack 或 py-spy 抓栈,循环点一目了然。
  • GC 频繁:应用卡顿但 %sy 不高,查 GC 日志,调大堆内存或更换收集器。
  • 连接风暴:短连接太多导致大量 TIME_WAIT,ss -s 一看便知,改长连接或调整内核参数。
  • 定时任务扎堆:多个 cron 在整点集中触发,错峰执行即可缓解。

四、火焰图:一张图定性

perf record -F 99 -a -g -- sleep 30 采样后生成火焰图:横向看宽度定量,纵向看调用链定性。宽度最大的那一列,就是 CPU 真正花掉的地方,比凭感觉猜要可靠得多。

五、事后复盘与预防

把结论写进值班手册,给关键进程加 systemd 的 CPUQuota 兜底,对核心指标做告警:单核持续 90% 超过 5 分钟就通知值班人。CPU 问题不可怕,可怕的是每次都从零开始查。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。