《当时序数据库撞上 GitOps:TDengine 发布流水线改造记》
去年冬天一次凌晨发布,我们把 TDengine 从 3.0.4 升到 3.0.6,用的还是那套最顺手的老办法:改 Helm values、kubectl apply、盯着 StatefulSet 里的 Pod 一个个重启。二十分钟后告警响了——taosAdapter 那层开始报错,客户端收到大量 6022,SHOW MNODES 里 mnode 的 leader 卡在一个正在重启的节点上,整个集群花了四十多分钟才重新选出 leader、完成收敛。第二天复盘下来,问题不在 SQL,也不在参数,问题在于我们把一个带状态的集群,当成了无状态的微服务来发布。
这件事之后我们才认真去想:时序数据库的发布,和普通服务的发布根本不是一回事。普通服务可以杀掉任意一个实例,流量立刻转到别处,剩下的副本扛住就行。TDengine 不行——每个节点上挂着 vgroup 的副本,mnode 里存着集群元数据和节点身份,节点的 fqdn 是写死在元数据里的。你随手滚动一下,可能触发的是一轮 leader 重选加一轮副本同步,而写入端完全不知道发生了什么,只看到超时。
所以我们最终定下来的原则很朴素:声明式的东西交给 Git,带状态的顺序交给人或者 Operator,中间用健康门隔开。
先说 CI 这半边。一次提交进来,流水线做四件事:编译和单测;把 taosd、taosAdapter、taosKeeper 打成镜像,tag 用 版本号-commit短sha,推到 Harbor 并记录 digest(这一点后面会讲为什么要记);用 kind 拉一个三节点临时集群,跑 taosBenchmark 灌五千万个点,再跑一批固定查询——降采样、last_row、interval 窗口、跨 vgroup 聚合——对比快照版性能基线,延迟或吞吐劣化超过 5% 就卡住不放行;最后生成一份"本版本基线"作为制品,留给下次对比。
CD 侧用的是 Argo CD,目录结构就是 envs/staging 和 envs/prod 两套,生产环境用 ApplicationSet 按集群生成 Application。真正解决"顺序"问题的是 sync wave:wave -1 是一个 PreSync 的 Job,先把 taosdump 导一份到对象存储,导完不成功就整批停下;wave 0 是 taos.cfg 的 ConfigMap 和 Secret;wave 1 才是 taosd 的 StatefulSet;wave 2 是 taosAdapter 和 taosKeeper。升级本身不用滚动更新一次性放行,而是用 partition 把序号一个个往前推,升完一个副本观察十五分钟,写入堆积、慢查询数、vgroup 在线状态都平稳,再动下一个。
健康检查这一关我们写得比较抠。Argo 默认只看 Pod 是否 Ready,对时序库来说这远远不够——Pod Ready 只说明进程起来了,不说明它加入集群了。我们给自定义健康检查写了段 Lua,除了查容器状态,还要连进 taos 执行 SHOW MNODES 确认三个节点的角色都是 online、SHOW VGROUPS 确认没有 vgroup 处于 offline 或者同步中。这两条不过,Application 就一直是 Progressing,后面的 wave 不会往下走。
回滚这件事是整套东西里最让人舒服的部分。以前出问题,值班的人在凌晨敲 kubectl rollout undo,敲完还得猜上一版镜像到底是什么。现在就是 git revert 那个 commit,Argo 检测到差异自动同步回去,diff 面板上改了什么、回到什么状态,一目了然。
踩的坑也不少,说三个记得最清楚的。
第一个是 fqdn。我们一度想给 StatefulSet 的 headless service 改个名字,觉得只是命名规范问题。改完整个集群起不来——mnode 里存的还是旧 fqdn,新 Pod 起来以后找不到自己的身份,反复注册失败。最后只能从备份里重建。从那以后我们在部署模板里给 fqdn 加了一行注释,大写的那种:# 改动此项需重建集群,禁止直接修改。
第二个是 self-heal 的副作用。有次线上排查,值班同事临时进容器改了个参数想验证一下,改完 Argo 三分钟内把它自动改了回去,白折腾半小时。我们的约定后来变成:现场任何变更必须先落 Git,紧急情况用 Argo 的 suspend auto-sync,改完再恢复。这条规矩写进了值班手册,比技术方案更难推。
第三个是镜像 tag。早期图省事用了 latest,结果 Argo 只看 manifests 里的 tag 字符串,tag 没变它就认为没差异,新镜像永远不上线。后来所有引用都强制用 digest,image: harbor/tdengine@sha256:...,这才让"Git 里是什么,集群里就是什么"这句话真正成立。密钥也顺手收拾了,挪到 Sealed Secrets,仓库里不再出现任何明文密码。
这套东西建起来大概花了六周,写流水线四周,剩下两周基本在吵架——不是因为技术难,而是运维老师傅不接受"改数据库之前先去改 Git"。现在回头看,收益是可量化的:常规发布从九十分钟压到二十五分钟,回滚从"一个不确定的凌晨"变成一次 revert,一年二十三次发布,没有一次 P1 是发布本身引起的。代价也很实在:每次调个参数得多写一个 MR,临时排查没以前那么顺手。
但一个天天要写几十万点每秒的库,稳比快重要。这笔账,我们算得过来。
- 点赞
- 收藏
- 关注作者
评论(0)