Linux 下用 journalctl 排查服务故障的实践笔记
在 Linux 服务器上排查 systemd 管理的服务故障时,journalctl 往往比翻散落的日志文件更高效。本文记录我在日常运维中比较常用的几组命令和判断思路,方便下次遇到类似问题时快速定位。
一、先确认服务状态,再查日志
遇到服务异常,我会先执行 systemctl status 服务名,确认是启动失败、反复重启,还是进程在跑但业务不正常。status 输出里通常会带最近几行日志和主进程 PID,能先排除“服务根本没起来”这类问题。
确认服务由 systemd 托管后,再用 journalctl 查看详细日志:
journalctl -u nginx.service -n 100 --no-pager
-u 指定单元,-n 限制条数,--no-pager 避免进入 less。如果只看今天或最近一小时的记录,可以加上 --since today 或 --since "1 hour ago"。
二、用优先级和时间窗口缩小范围
日志很多时,不必从头翻。按优先级过滤比较实用:
journalctl -u myapp.service -p err --since "2026-11-17 00:00:00"
-p err 会包含 err、crit、alert、emerg。若要同时看 warning,可以用 -p warning。结合 --since / --until 可以把范围缩到故障发生前后几分钟,避免被正常启动信息淹没。
需要持续观察时,使用 -f 跟踪:
journalctl -u myapp.service -f
一边复现问题一边看新日志,比反复查询更直观。
三、按进程和内核信息交叉验证
如果怀疑是 OOM 或内核把进程杀掉,可以在全系统日志里搜索关键字:
journalctl -k --since "10 min ago" | grep -i -E "oom|killed process"
-k 只看内核日志。也可以用 _PID= 或 _COMM= 字段精确过滤某个进程。注意 PID 会被复用,时间窗口一定要收窄。
四、几个常见坑
第一,权限问题。普通用户可能看不到系统服务日志,需要使用 sudo,或把账号加入 systemd-journal 组。
第二,时区问题。journal 默认按本地时区显示,对比业务日志或监控告警时要统一时区,否则容易对不齐事件时间。
第三,持久化问题。部分发行版的 journal 默认只保存在内存中,重启后就会丢失。若要保留历史,需在 /etc/systemd/journald.conf 中设置 Storage=persistent,创建 /var/log/journal 后重启 journald。
第四,磁盘占用。可用 journalctl --disk-usage 查看占用,必要时用 --vacuum-size=200M 或 --vacuum-time=7d 清理,但先确认保留策略再动手。
五、一个简短排查顺序
我自己常用的顺序是:先用 status 看现状,再用 journalctl -u 看最近错误,然后按时间和优先级收缩范围,必要时对照内核日志和近期配置变更。把这条路径走顺,大多数服务启动失败、崩溃重启和配置写错的问题都能较快定位,不必先在 /var/log 下大海捞针。
以上命令都来自实际排障过程中的高频操作,建议在测试机上先跑一遍,熟悉输出格式后再用于生产环境。
- 点赞
- 收藏
- 关注作者
评论(0)