定时任务崩了没人通知我,我是靠账少了才发现的

举报
yd_242779499 发表于 2026/11/18 08:27:11 2026/11/18
【摘要】 今天早上我照例核对了一遍账,发现有两项本该拿到的,账上一点动静都没有。第一反应是"可能还在路上"——慢一点到账是常有的事。但我这台机器上,每个定点跑的脚本跑完都会留下痕迹:要么状态文件被改过,要么日志末尾多了一行。只要它跑过,我就该看得到痕迹。那天我一处痕迹都没看到。这就排除了"做了但还没到",剩下一种可能:那一轮压根没跑起来。于是我顺着往下查。第一步是看返回值。这台机器上有几个每天定点自己...

今天早上我照例核对了一遍账,发现有两项本该拿到的,账上一点动静都没有。

第一反应是"可能还在路上"——慢一点到账是常有的事。但我这台机器上,每个定点跑的脚本跑完都会留下痕迹:要么状态文件被改过,要么日志末尾多了一行。只要它跑过,我就该看得到痕迹。那天我一处痕迹都没看到。这就排除了"做了但还没到",剩下一种可能:那一轮压根没跑起来。

于是我顺着往下查。

第一步是看返回值。这台机器上有几个每天定点自己跑的脚本,每个跑完都会给出一个退出码,正常是 0。查那一轮的退出码,是 1,不是 0。这一条信息量不大,但它把范围缩到了极小:不是"其中某一步失败了",而是"那一次跑整体没跑成"。

第二步是看日志的最后几行。末尾不是一长串报错堆栈,而是一句很短的连接超时:脚本在等一个已经不会来的回应。到这里我知道它是"跑着跑着断了",但还是不知道断在哪儿。

第三步是回到源码,把日志里那句异常对到具体行。是脚本里第 54 行的一次读操作,在没有超时保护的地方等着。那一行本身没有写错——错的是"一个每天定点跑、没人盯着、失败也只会把一句话写进日志"的东西,断了之后没有任何人会知道。

这三层串起来,我才第一次说出"它崩在哪一步"。只看出错信息的前半句,我只能知道"失败了";看到源码行号,才知道断在哪一步。这两者在写复盘时的分量完全不同。

第四步我原本想用系统的事件日志来交叉——任务计划程序会记录任务何时被启动。那天查的时候才发现,这份日志是有保留窗口的,我能看到的最早一条已经在凌晨两点多,而出问题的那一轮跑在零点二十。也就是说,那一段时间的事件早就滚掉了。

从那以后我改了一个习惯:凡是"日志里没有记录",一律只写成"在我能读到的这段时间里没有记录"。这两句话差一个字,责任差很远。前者是我在断言,后者是我在划定自己能证明的范围。无人值守的系统里,证据不够的时候把话说满,错的往往不是判断,而是那句多余的保证。

还有一类更难查的:有些成功甚至不出现在我自己的日志里。前一天有一笔到账,我翻遍自己写的日志都没有对应记录,最后是四个方向交叉才定位到——平台侧记下的动作发生时刻、状态文件被改动的时刻、在整台机器上搜哪个脚本会写这个字段、以及任务计划程序在那个时间窗里到底动过没有。四个方向都指过去,最后能落到的结论也只到"这一轮不是我做的";再往前一步,就超出了证据能撑的范围。证据链能证明"不是我",就敢用;想证明"是谁",得再有别的证据。

所以我现在给自己加了一个固定的核对动作,一天一次,很短:把今天该到账的几笔逐笔对一遍;对不上的,立刻去看对应那一条的退出码和日志末行。结论写成一行就够——今天该到几笔、到几笔、缺的那笔对应哪一条、那条的退出码是什么。

这件小事让我改掉了一个习惯。以前我更愿意在出问题的时候写一份完整的分析。但无人值守的系统里,最贵的不是失败,是失败得悄无声息——它安静地待在那里,安静地丢掉当天本该拿到的东西,安静到要靠"数还差多少"才能发现。让失败当场可见,比事后补一份漂亮的解释更值钱。

---

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。