Linux 日志排查实战:用 journalctl 快速定位服务故障

举报
yd_291742659 发表于 2026/11/17 06:16:50 2026/11/17
【摘要】 早上收到告警:某台云服务器上的 Web 服务返回 502,重启一次好了,半小时后又挂了。这种“时好时坏”的故障,最怕的就是凭感觉动手:改配置、重启服务、升级依赖一通操作,问题可能暂时消失,却不知道根因,下次还会回来。我的习惯是先看日志,而且只看 systemd 接管的这份日志——journalctl。 一、排查之前,先定住三个坐标日志量很大,漫无目的地翻等于大海捞针。动手之前先确认三件事:哪...

早上收到告警:某台云服务器上的 Web 服务返回 502,重启一次好了,半小时后又挂了。这种“时好时坏”的故障,最怕的就是凭感觉动手:改配置、重启服务、升级依赖一通操作,问题可能暂时消失,却不知道根因,下次还会回来。我的习惯是先看日志,而且只看 systemd 接管的这份日志——journalctl。

一、排查之前,先定住三个坐标

日志量很大,漫无目的地翻等于大海捞针。动手之前先确认三件事:哪台机器、哪个服务、故障大概发生在什么时间段。时间尤其关键,journalctl 支持按时间过滤,先把范围缩到故障前后十分钟,日志立刻从几万行变成几十行。

journalctl -u nginx.service --since "2026-11-17 05:40:00" --until "2026-11-17 06:10:00"

如果只记得“大概是今早”,可以用相对时间:--since "1 hour ago",或者只看本次启动以来的记录:-b。

二、四条命令,覆盖八成场景

第一条是按服务查:journalctl -u <服务名>,只看这一个服务的日志,不会被系统里其他服务的输出干扰。服务名可以用 Tab 补全,也可以用 systemctl list-units --type=service 先列出来确认。

第二条是实时跟踪:journalctl -u <服务名> -f。复现问题时开一个终端盯着它,请求一发过去,错误立刻出现在眼前,比事后翻日志直观得多。

第三条是按级别过滤:journalctl -p err -b。只看本次启动以来 error 及以上级别的记录,适合“服务起不来”这种场景,先看最严重的错误,再决定要不要往下翻 warning。

第四条是组合 grep:journalctl -u <服务名> --no-pager | grep -iE "timeout|refused|failed|oom"。--no-pager 让输出直接走管道,grep 负责在海量日志里捞关键词。注意关键词要选服务自己的报错词,而不是凭空猜。

三、走一遍完整流程

以前面那台 502 的机器为例。先 systemctl status nginx,看到服务是 active,但这只能说明进程还在,不能说明它工作正常。接着按时间查日志,发现每隔几分钟出现一行 connect() failed (111: Connection refused) while connecting to upstream,上游是本地的另一个应用服务。再查那个服务的日志,看到它在启动后不久就退出了,原因是配置文件里写错了一个端口,启动时绑定失败。

根因找到后,修复就是改一行配置、重启那个上游服务,再用 journalctl -u <上游服务名> -f 盯一分钟,确认没有新的报错,502 也随之消失。整个过程没有动过 nginx 本身——如果一开始就重启 nginx,问题半小时后还会回来。

四、三个容易踩的坑

一是日志被截断。默认的 journal 日志有大小上限,磁盘满了会丢最旧的记录。长期运行的机器值得检查一下 /var/log/journal 的占用,journalctl --disk-usage 能看到用了多少空间,--vacuum-size=500M 可以清理。

二是只看最后一行。很多服务的致命错误发生在启动初期,最后一行往往只是“服务已退出”这个结果。查故障要从时间段的开头往下读,找到第一条 error,那才是根因附近的位置。

三是时区对不上。服务器用 UTC、业务按北京时间报障时,--since 的时间要先换算,否则查到的时间段里什么都没有,还以为日志丢了。先用 timedatectl 确认机器时区,再定过滤时间。

五、留给自己的检查清单

每次排查完,我会顺手记下三行:故障现象、根因、修复命令。下次同类告警再来,先翻自己的记录,再翻日志。日志排查拼的不是命令记得多,而是每次都按“定范围、看级别、找第一条错误、验证修复”这个顺序走。把顺序固定下来,journalctl 才能从“看过”的命令变成“用熟”的工具。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。