用 CES 监控告警排查一次 CPU 突增的经历

线上服务下午突然出现响应变慢，先从 CES 的监控看板入手。把 CPU 使用率、内存、磁盘 IO、网络出带宽四个指标拉到同一个时间轴上对比，发现 CPU 在 14:20 左右有个陡增，同时磁盘读 IO 也跟着起来，内存和网络基本平稳。这个组合指向计算密集型的任务，不是 IO 等待。继续往下钻，用 CES 的主机监控看单核分布，发现只有两个核满载，其他核空闲，说明是单线程任务卡住了。最后在应用日志里找到一段定时任务，跑了个全表扫描。事后在 CES 上给这个指标配了告警规则，阈值设在 80% 持续三分钟，通知到值班群。这套流程跑下来，从发现到定位大概二十分钟。