断点续跑的批处理:三个必须落盘的字段
【摘要】 批处理被打断后从零重跑,问题通常不在脚本粗糙,而在进度只活在内存里。把「跑到第几条」换成每条一条记录:稳定的业务键、三态状态、尝试次数;落盘顺序决定会不会重复处理,文末给一段可复用写法和一个 kill -9 的验证方法。
一段跑了两小时的批量任务,在第 70% 时被运维重启打断,再启动时脚本从第一条重新开始。日志里只剩「第 1831 条处理中」,没有任何可以接着跑的位置。这不是脚本写得粗糙,而是进度只存在内存里。
只记「跑到第几条」为什么不够
第一反应通常是加一个 index 变量,定期写进文件。三个问题会很快出现:
- index 是行号。上游每天追加数据、中间删掉几行,行号就错位,被跳过或重复处理的记录不会报错。
- index 只说明「前面处理完了」,不说明「当前这条做到哪一步」。副作用只做了一半,重跑就是第二遍。
- 定期写文件意味着最多丢掉一个批次的进度,批次越大白跑越多。
换成三个字段
把进度从一个数字改成一条记录,字段只要三个:
- item_key:稳定的业务主键,比如订单号、文件路径的哈希,不是行号。数据重排多少次它都不变。
- status:pending / running / done 三态。running 是给崩溃准备的——进程被杀时它留在库里,下次启动就知道这条结果未知。
- attempt:尝试次数,配合上限决定哪些条目进死信、哪些继续重试。
写入粒度:每处理完一条就 upsert 一次,不做批量缓冲。一次 upsert 是毫秒级,相比一次网络调用可以忽略,换来的是崩溃时最多丢一条。
写顺序决定会不会重复
顺序是固定的:先置 running,再执行副作用,成功后置 done。反过来先置 done 再执行,中途崩溃就永远漏掉这一条;只置 running 不置 done,崩溃后这条会被重试——所以副作用本身要能接住重试:目标侧对同一个 item_key 加唯一约束,或者写入前先用 item_key 查一次。
for (const item of items) {
const row = db.get(item.key);
if (row && row.status === 'done') continue;
if (row && row.attempt >= 5) { deadLetter(item); continue; }
db.upsert(item.key, 'running', (row?.attempt ?? 0) + 1);
const ok = await applySideEffect(item); // 目标侧按 item_key 去重
if (ok) db.upsert(item.key, 'done', (row?.attempt ?? 0) + 1);
}
怎么验证它真的能续
不必等一次真事故。造 100 条数据,跑到第 50 条时用 kill -9 杀掉进程——不要用 Ctrl+C,它会走清理逻辑,测不出真实崩溃——再重启:
- 累计 done 应该正好 100 条,既不是 98 也不是 102;
- 被杀时处于 running 的那一条,attempt 加 1 后重跑,而不是被跳过;
- 目标侧按 item_key 查重,重复写入数为 0。
三项都对,断点续跑才算成立。只看到「跑完了」不算数——重复处理和漏处理都能跑完。
三个常见错误
一是把行号当 key,源数据一变全错位;二是把 done 写在副作用之前,崩溃即漏单;三是重试不设上限,一条坏数据把整个队列卡死。前两个是顺序问题,第三个是策略问题,改起来都不难,难的是在出事故之前想到它们。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)