ECS CPU 飙高别急着升配:从定位到限流的一次排查

举报
yd_46858814 发表于 2026/11/17 01:51:50 2026/11/17
【摘要】 监控一红,CPU 占用 100%,接口开始超时,登录都变卡。第一反应往往是升配——核数翻一倍,CPU 立刻下来了,业务也恢复了,可过几天,CPU 又悄悄爬了回去。升配治的是症状,不是病因。CPU 飙高了,先别急着升配,先搞清楚 CPU 到底在忙什么、是真忙还是在等、是哪个进程在吃,再决定怎么限流、怎么治本。一、先分清:是真忙,还是在等,还是被偷走了CPU 占用率高,不等于 CPU 真的不够用...

监控一红,CPU 占用 100%,接口开始超时,登录都变卡。第一反应往往是升配——核数翻一倍,CPU 立刻下来了,业务也恢复了,可过几天,CPU 又悄悄爬了回去。升配治的是症状,不是病因。CPU 飙高了,先别急着升配,先搞清楚 CPU 到底在忙什么、是真忙还是在等、是哪个进程在吃,再决定怎么限流、怎么治本。

一、先分清:是真忙,还是在等,还是被偷走了

CPU 占用率高,不等于 CPU 真的不够用。先看三组数字:总体的 CPU 使用率、每个核的使用情况、以及系统平均负载。单核跑满、多核空闲,和所有核一起跑满,是两种完全不同的问题:前者多半是某个单线程任务卡住了,后者才是整体压力真的上来了。只看总占用率一个数字,很容易误判。

再看 CPU 的时间都花在了哪里。是用户进程在算,还是系统内核在忙,是在等磁盘读写,还是在等网络。等磁盘、等网络的时候,CPU 看着也忙,实际上是在空转:进程发起了一个读写请求,CPU 就在那里等结果,等到了才继续干活。这种“忙”是假忙,加核解决不了,得去解决它在等的那个东西——慢查询、大文件读写、超时的下游调用。

还有一个容易忽略的点:看有没有 CPU 被“偷走”。在共享型实例上,同一台物理机上的邻居争抢资源时,自己这台机器的 CPU 时间会被分走一部分,表现为明明自己的进程没多干活,CPU 却不够用了。结合业务量一起看:业务量没涨、进程没变、CPU 却上去了,就要怀疑是不是这个方向。只盯着自己机器里的进程找,有时候是找不到答案的。

还有一个走势要看清楚:CPU 是突然涨上去的,还是一点点爬上去的。突然涨上去,往往和某一次发布、某一次大查询、某一批突发流量有关;一点点爬上去、重启后又从低位重新开始爬,往往是某个进程在缓慢变坏——比如缓存失效后每次请求都在重复算、比如重试越积越多。两种走势,排查方向完全不同,动手之前,先把走势看清楚。

这一步的目标很简单:写清楚四件事——是单核满还是全核满、CPU 时间花在了算还是等、有没有被偷走的迹象、CPU 是突涨还是慢爬。写清楚了再动手,后面每一步都有据可查。

二、定位吃 CPU 的进程:按占用排序,再看线程

确认 CPU 确实吃紧之后,下一步是找出是谁在吃 CPU。按 CPU 占用从高到低排个序,大多数时候,前几名就占了 CPU 的大头。

先看排在前面的进程是谁:是业务主进程、数据库,还是某个后台任务、某个定时脚本。业务进程占得多,不一定就是它有问题,还要看它占得多合不合理:一个本该只占半个核的定时脚本占了两个核,那就有问题;一个数据库在业务高峰占满了核,如果这本来就是它的工作,也可能是正常的。

再看进程里的线程。一个进程占满了 CPU,不代表它所有的线程都在忙:往往是一个线程在死循环、一个线程在反复重试,其他线程都在等它。把进程拆到线程一级,看是哪个线程在吃 CPU,再看这个线程正在做什么:是在处理请求、还是在等锁、还是在重复算同一个东西。定位到线程,嫌疑范围就从“这个服务有问题”缩小到了“这个服务里的这件事有问题”。

还要把进程和时间点对上:CPU 开始涨的那个时间点,业务上发生了什么?是不是刚发布了新版本、刚跑了一批大任务、刚来了一波流量。时间点对上了,嫌疑进程基本就锁定了。时间点对不上,也别硬凑,继续往下看系统日志和业务日志,找找有没有报错、重试、堆积。

这一步做完,你手里应该有一张清单:占用最高的三个进程分别是谁、各占多少、是哪个线程在吃、开始涨的时间点对应着什么业务变化。有了这张清单,才轮到动手处理。

三、常见的四个元凶:热点死循环、重试风暴、定时任务撞车、大任务挤在主流程里

第一种,热点代码在死循环或者重复算。某个分支条件一直不满足,循环出不来;某个缓存一直没命中,每次请求都重新算一遍全量结果;某个本该只算一次的统计,被放在了每次请求都会走的路径上。单个请求看着只多花了几毫秒,量一上来就是几十个核。排查时看一眼火焰图或者线程栈:总在同一个函数上打转的线程,就是嫌疑最大的那一个。

第二种,重试风暴。下游一慢,上游就重试,重试又让下游更慢,下游更慢又引来更多重试。CPU 就这样被一轮一轮的重试吃掉了,而且重试的请求大多是注定要失败的重复劳动。排查时看一眼重试次数和失败率:是不是在跟着 CPU 一起涨;如果是,先把重试的次数、间隔和熔断配好,再去修下游慢的那个根因。

第三种,定时任务撞车。每天凌晨跑的几个大任务——全量同步、报表生成、数据清理——本来是错峰跑的,某次改动之后全挤到了同一个时间点。CPU 在那个时间点被冲到顶,白天又完全空闲。看一眼任务的执行时间表,是不是有多个重任务重叠了;如果是,把它们错开,比升配便宜得多,也有效得多。

第四种,大任务挤在主流程里。一个大文件解析、一次全量导出、一次大查询,代码里放在了用户请求的主流程里同步做,数据量小的时候没感觉,数据量一长就把 CPU 占满、把正常请求都拖慢。改成异步做、按批次做、放到后台任务里做,CPU 立刻就能降下来。判断是不是这种情况,看 CPU 突涨的时间点是不是正好对应着这类大任务的执行时间。

这四种情况,排查时不用一次全改,先确认是哪一种,再改那一种。CPU 问题最怕“感觉是这个问题”,改了一圈发现不是,白白折腾了业务。

四、应急处理:先留现场,再动手,别一上来就升配整机

CPU 已经跑满、业务已经受影响的时候,确实需要先应急。但应急也有顺序:先留现场,再动手;先动单个服务,再考虑整机。

留现场的意思是:动手之前,先把关键信息记下来——CPU 占用最高的几个进程和线程是谁、各占多少、系统日志里最近有没有报错、业务日志里最近有没有异常。这几分钟的记录,是事后定位病因最重要的线索。直接重启或者升配,现场就没了,CPU 下来了,病因也丢了,下次还会再来一次。

动手时,优先处理嫌疑最大的单个服务。先试试优雅重启这个服务:让它先停掉新请求、处理完手头的任务再退出,而不是直接强行杀掉。优雅重启对业务的影响最小,也最容易验证效果:重启完这个服务,CPU 是不是真的下来了、业务是不是恢复了。如果 CPU 下来了,说明方向找对了;如果 CPU 没怎么动,说明嫌疑进程找错了,换一个方向,别在同一个服务上反复重启。

只有在单个服务重启无效、或者系统已经卡到连登录都困难的时候,才考虑重启整机。重启整机是最后的手段,不是第一步。重启之前,同样先确认一件事:重要的数据有没有落盘、有没有正在跑的、不能中断的任务。重启能解决一时的 CPU 压力,解决不了死循环和重试风暴,重启完了,还得接着做治本工作。

还有一个细节:降级比升配快。CPU 实在顶不住的时候,先把非核心的功能降级——关掉实时统计、暂停全量同步、把非紧急的定时任务往后推,让核心请求先恢复。这不是认输,是给排查争取时间。先保住核心业务,再慢慢找病因。

五、治本:设上限、做限流、加监控,升配放在最后

应急处理完,CPU 下来了,工作才做了一半。治本要做三件事:设上限、做限流、加监控,升配放在最后。

设上限,是给每个关键服务都定一个明确的 CPU 天花板。容器设 CPU 限制,关键服务设并发上限,超过就告警、甚至按策略限流。上限不是为了限制业务,而是为了让一个服务失控时,不至于拖垮整台机器上的其他服务。

做限流,是对突发流量和大任务做分批。一次全量同步拆成多批跑,大查询改成按分页查,突发请求超过阈值就排队或者返回友好的提示,而不是让所有请求同时涌进来、一起把 CPU 吃光。限流看起来是“拒绝了一部分请求”,实际上是保住了大部分请求的正常响应。

加监控,是把 CPU 的三个信号都盯起来:总体使用率、单核使用情况、占用最高的进程和线程。只盯总体占用率一个数字不够,要盯是不是某个核先跑满了、是不是某个进程的 CPU 在持续上涨、是不是定时任务的时间点总和 CPU 高峰重合。告警阈值不要设得太晚:等到 CPU 跑满、业务已经超时才告警,留给处理的时间就不多了。提前半天、提前几个小时发现 CPU 爬升的趋势,比半夜被“CPU 已满”的告警叫醒要从容得多。

升配放在最后,是因为升配只能解决“CPU 真的不够”这个问题,解决不了死循环、重试风暴和没有上限的问题。核数从 4 核升到 8 核,一个死循环的线程只是换个地方继续跑满。先把死循环找出来、把重试配好、把大任务拆开,确认业务在正常情况下确实需要更多算力,再去升配。这时候升的配,才是真正花在刀刃上的钱。

六、落地清单:CPU 飙高按这个顺序走

第一,先分清真假:看单核还是全核满、CPU 时间花在了算还是等、有没有被偷走的迹象、CPU 是突涨还是慢爬,确认是真忙还是在空等。第二,按占用排序定位嫌疑进程,再拆到线程一级,看是哪个线程在吃、开始涨的时间点对应着什么业务变化。第三,对照四种常见元凶——热点死循环、重试风暴、定时任务撞车、大任务挤在主流程里,确认是哪一种再动手。第四,应急时先留现场,再优雅重启嫌疑最大的单个服务,确认 CPU 真的下来了,整机重启放在最后,实在顶不住先降级非核心功能。第五,治本要做设上限、做限流、加监控三件事,升配放在最后,先确认是真不够用再升。

CPU 这件事,和磁盘、内存一样,规划比救火更重要。业务在长,数据在涨,CPU 早晚会吃紧。定期看一眼 CPU 的走势,提前发现缓慢上涨的进程,比半夜被 CPU 告警叫醒要从容得多。CPU 飙高了不可怕,可怕的是不看走势、不留现场,上来就升配,升配完又什么都不改。按清单走一遍,CPU 问题就只是一件按顺序处理的小事。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。