Linux 下用 journalctl 排查服务故障的实践笔记

举报
yd_258808623 发表于 2026/11/17 10:42:56 2026/11/17
【摘要】 在 Linux 服务器上排查 systemd 管理的服务故障时,journalctl 往往比翻散落的日志文件更高效。本文记录我在日常运维中比较常用的几组命令和判断思路,方便下次遇到类似问题时快速定位。 一、先确认服务状态,再查日志遇到服务异常,我会先执行 systemctl status 服务名,确认是启动失败、反复重启,还是进程在跑但业务不正常。status 输出里通常会带最近几行日志和主...

在 Linux 服务器上排查 systemd 管理的服务故障时,journalctl 往往比翻散落的日志文件更高效。本文记录我在日常运维中比较常用的几组命令和判断思路,方便下次遇到类似问题时快速定位。

一、先确认服务状态,再查日志

遇到服务异常,我会先执行 systemctl status 服务名,确认是启动失败、反复重启,还是进程在跑但业务不正常。status 输出里通常会带最近几行日志和主进程 PID,能先排除“服务根本没起来”这类问题。

确认服务由 systemd 托管后,再用 journalctl 查看详细日志:

journalctl -u nginx.service -n 100 --no-pager

-u 指定单元,-n 限制条数,--no-pager 避免进入 less。如果只看今天或最近一小时的记录,可以加上 --since today 或 --since "1 hour ago"。

二、用优先级和时间窗口缩小范围

日志很多时,不必从头翻。按优先级过滤比较实用:

journalctl -u myapp.service -p err --since "2026-11-17 00:00:00"

-p err 会包含 err、crit、alert、emerg。若要同时看 warning,可以用 -p warning。结合 --since / --until 可以把范围缩到故障发生前后几分钟,避免被正常启动信息淹没。

需要持续观察时,使用 -f 跟踪:

journalctl -u myapp.service -f

一边复现问题一边看新日志,比反复查询更直观。

三、按进程和内核信息交叉验证

如果怀疑是 OOM 或内核把进程杀掉,可以在全系统日志里搜索关键字:

journalctl -k --since "10 min ago" | grep -i -E "oom|killed process"

-k 只看内核日志。也可以用 _PID= 或 _COMM= 字段精确过滤某个进程。注意 PID 会被复用,时间窗口一定要收窄。

四、几个常见坑

第一,权限问题。普通用户可能看不到系统服务日志,需要使用 sudo,或把账号加入 systemd-journal 组。

第二,时区问题。journal 默认按本地时区显示,对比业务日志或监控告警时要统一时区,否则容易对不齐事件时间。

第三,持久化问题。部分发行版的 journal 默认只保存在内存中,重启后就会丢失。若要保留历史,需在 /etc/systemd/journald.conf 中设置 Storage=persistent,创建 /var/log/journal 后重启 journald。

第四,磁盘占用。可用 journalctl --disk-usage 查看占用,必要时用 --vacuum-size=200M 或 --vacuum-time=7d 清理,但先确认保留策略再动手。

五、一个简短排查顺序

我自己常用的顺序是:先用 status 看现状,再用 journalctl -u 看最近错误,然后按时间和优先级收缩范围,必要时对照内核日志和近期配置变更。把这条路径走顺,大多数服务启动失败、崩溃重启和配置写错的问题都能较快定位,不必先在 /var/log 下大海捞针。

以上命令都来自实际排障过程中的高频操作,建议在测试机上先跑一遍,熟悉输出格式后再用于生产环境。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。