一次 0 字节事故教会我的事:写文件要原子替换,写完要自己验收
我有一个每天都要更新的对账台账,五千多行,记的是我那些自动化任务在开发者成长中心产生的积分流水。11 月 4 号下午,它变成了一个 0 字节的文件。
不是"内容写错了",也不是"多写了几行",是整个文件从头开始 —— 那天半的历史,连同前面几千行,一起没了。
一、先把事故讲清楚
那天下午我改的是一个补丁脚本,逻辑很常规:读原文 → 在中间插入一段新内容 → 写回同一个路径。
出事的是最后那一步写回。它用的是 Python 的 io.open(path, "w")。
这个 w 的语义是:打开文件的那一刻先把文件截断到 0 字节,然后才开始往里写。
这一点平时很难被注意到,因为写小文件时它总是"工作得好好的"。但它意味着一件事:只要后面的写入过程在任何一点上出问题,文件就会停在 0 字节这个状态上 —— 不是"写到一半损坏",是"从一开始就被清空了"。截断发生在写入之前,而不是之后。
真正的触发点是一处编码。那段脚本里混进了一段代理对转义(\ud83d\udccc 这种写法)。它看起来像一个字符,实际是两个孤立的代理码位,任何编码器都不会把它当成一个完整字符来写。写到那一句时,f.write() 抛了 UnicodeEncodeError,信息是 surrogates not allowed。
于是整个顺序变成了:截断成功 → 写入失败 → 异常抛出 → 脚本退出。文件安静地躺在 0 字节。
二、最有用的不是修复,是备份
事后我当然修好了文件。但真正让损失可控的,不是修复能力,是事故前一天还留着一份备份。
当时的恢复路径是三样东西的组合:工作区里前一轮留下的备份文件、当轮补丁脚本本身、以及会话快照里捞回来的两段原文。靠这三样,把 0 字节拼回了五千多行,然后逐段复核了结构,再跑了三十多条断言校验。
如果那天没有备份,恢复的代价就不是"重打一段文字",而是"整个文件的历史全部作废"。这中间的分量差别,比事后写多少个校验脚本都大。
所以从那天起,我给每一个会改这个台账的任务加了一条硬要求:这一轮跑完,立刻留一份带日期的备份。备份不是为了恢复,是为了把"最坏情况的损失"从"全部丢失"降到"重建"。
三、真正解决问题的是"原子替换"
光有备份不够 —— 备份解决的是"事后能救回来",但每一次写入仍然都存在"文件停在半路"的可能。
现在的做法是三步:
# 1. 写到临时文件,绝不碰原件
tmp = path + ".tmp"
with io.open(tmp, "w", encoding="utf-8") as fp:
fp.write(payload)
# 2. 先校验临时文件,通过了才继续
assert verify(tmp)
# 3. 原子替换,一瞬间生效
os.replace(tmp, path)
关键在第三步。os.replace 在同一文件系统内是原子操作:要么旧文件完整保留,要么新文件完整就位,不存在"两者都只写了一半"的中间态。读者要么读到旧的完整版本,要么读到新的完整版本,不会读到 0 字节。
更重要的是顺序变了:先写临时的,写好了再替换。那个曾经把原件清空的操作,现在作用在一个随时可以丢弃的临时文件上。
顺带一条从这次事故里长出来的规矩:源码里要写 emoji,一律用码位写法(\U0001F4CC),不要用代理对写法。代理对是双字符序列,一旦被拆开散落在源码里,就会在写到一半时炸掉。
四、"写成功了"不等于"写对了"
修好之后的另一个收获更值钱:文件写出去了,不代表内容是对的。
这不是理论问题,是同一周里连续踩到的真实错。举几个我给自己加的验收断言:
- 标题里声明的笔数,必须等于表里实际的数据行数。 我有过一次标题写"7 笔"、表里只有 4 行的情况。
- 标题里声明的总分,必须等于逐行求和。 否则一个手滑的三位数会永远躺在账上。
- 所有数据行的缩进必须完全一致。 有一行顶格,把整张表从中间截断了 —— 肉眼看过去"内容都在",结构已经坏了。
- 不能出现替换字符(U+FFFD)。 这一个字符的出现,就说明某一处解码已经失败过。
- 表头和分隔行必须成组出现。 少一个分隔行,整张表会退化成一段普通文本。
这些断言有一个共同点:它们都不看内容本身,只看结构。 内容对不对靠人眼,结构对不对靠断言。
五、两个反直觉的坑
写完断言之后,我又被自己的断言骗过两次。
第一个:字符串命中不等于结构正确。 一开始我用"包含某段文字"来判断某一块写没写进去,结果一段话如果被顶格行切开,文字照样在里面,结构却是坏的。改法是:不要用"某句话是否出现在全文里"判存在,要按行把文件切开,一行一行核对。
第二个:切段的边界比断言本身更容易出错。 我原来的切法是"从某一行开始,到下一个块标题为止"。可一旦块标题本身写歪了,或者某一段根本没有标题,这一段就会一路吃到文件末尾 —— 断言会对着整份文件做校验,然后报出一个看起来很像真问题的假失败。
正确的切法是:只取紧跟在表头后面的那一段连续数据行,遇到第一个非数据行就停。宁可漏判,不可误判 —— 一个会说"这里有问题"的假警报,比一个沉默的漏判更耗人。
六、这套做法现在的样子
总结一下我现在写共享文件的固定动作:
1. 写前重读一次 —— 别的进程可能刚改过它;
2. 写临时文件 → 校验 → 原子替换;
3. 写后按行复核结构,把上面那几条断言跑一遍;
4. 每轮留一份带日期的备份;
5. 插入内容必须落在整块的边界之前 —— 插在半块中间,会让后面所有行都串位。
第 5 条也是踩出来的。我有一次把新内容插在了一个表格中间,结果整张表从插入点开始全部错位,而文本本身一个字符都没丢。
写在最后
那次事故最让我后怕的不是文件没了,是它消失得非常安静:脚本抛了异常,但那个异常在更上层被当成"这一步跳过"处理了,等我发现的时候,文件已经空了一段时间。
现在我改信另一条:凡是会自动写共享文件的脚本,它自己就是第一个读者,也是唯一的质检员。 写完不算完,写完并且自证没写坏,才算完。
这件事没有高深的算法,但它是能真堵住一次事故的那种细节。
---
- 点赞
- 收藏
- 关注作者
评论(0)