数据分层实践:事务库、分析层与湖仓分工
大家好,我是数据库小学妹👋 我踩过的坑,你别再踩。
九月做了一次报表改造。几张明细表从业务库搬到湖上,理由是主库被报表压得喘不过气。搬完负载降了一半,我挺得意。结果第二天早上八点半,老板问我"昨天的日报怎么还没出来"。我打开调度一看,链路正常,它本来就是 T+1 的。而我从没问过业务,这份日报几点要。
一、三层各管一段
先说清三层。事务库是事实来源,负责写入、事务、一致性。它的强项是毫秒级点查和高并发小事务。行存为主的库在超大范围扫描上不占优,这是存储结构决定的,不是能力问题。
列存分析层按列存储、批量压缩。扫几千万行做聚合很快。弱项是单行更新和点查。湖仓建在对象存储上,管历史和多源,容量便宜、格式开放。列存为什么快,我在 ClickHouse 那篇里拆过原理。
三层不是替代,是分工。事务库存正在发生的事。分析层回答"这个月卖得怎么样"。湖仓存"三年前的每一笔原始记录"。混成一件事,就会出我那种局面。这三层是逻辑分层,不是产品清单,融合型数据库可以把前两层放进一个产品里。
数据搬对了地方,时效对不上业务。技术没错,判断错在起点。这件事之后,我才去补时效这一课。补课比改代码难。
| 层 | 主要负载 | 强项 | 弱项 |
|---|---|---|---|
| 事务库 | 写入、点查、事务 | 毫秒级响应、强一致 | 超大范围扫描不占优(行存结构) |
| 列存分析层 | 聚合、宽表扫描 | 大批量扫描快、压缩比高 | 单行更新弱、点查延迟高 |
| 湖仓 | 历史明细、多源汇聚 | 容量便宜、格式开放、可回溯 | 端到端延迟高,秒级可见难 |
二、表格式解决了什么
湖仓这两年热,核心是表格式。Iceberg、Hudi、Delta 都算这一类。它们给对象存储加了一层元数据。让一批文件具备提交、回溯、schema 演进的能力。
说白了,以前往对象存储写文件,读到一半可能读到半成品。有了表格式,读的人只看到已提交的快照。这一层解决了"数据湖不可靠"的老问题。但可靠不等于实时。
但它没解决的东西同样明确。第一是低延迟点查。对象存储的请求延迟摆在那里,再优化也追不上本地盘的 B 树。第二是高并发小事务,一百个人同时改一行,不是它的场景。第三是秒级可见。从业务库变更到湖上可查,中间要过好几步。采集、传输、落文件、提交元数据,每一步都有延迟。这几步的耗时,要分别量一次。
业务库 --(变更采集)--> 消息/缓冲 --(写入)--> 湖上文件 --(提交元数据)--> 可查
毫秒级 秒级累积 分钟级文件 快照可见
这条链路的总延迟,决定了湖上能做多实时。要 T+0 看板,就别把主链路放湖上。要 T+1 报表、要历史回溯、要多源拼宽表,湖仓就很合适。
三、四个判据,把"放哪"变成算术
判断放哪一层,我一般问四个问题。数据量多大。延迟要求多少。更新频率多高。成本能接受多少。四个答案都能落到数上。
千万行以内、要求秒级、更新频繁,留在事务库。加只读副本扛读就行。上亿行、要复杂聚合、更新不频繁,进列存分析层。
百亿行原始明细、要长期保留、要跨源拼表,进湖仓。四种情况交叠时用冷热分层。热数据留库,冷数据下沉。
| 判据 | 倾向事务库 | 倾向分析层 | 倾向湖仓 |
|---|---|---|---|
| 数据量 | 千万行以内 | 亿级宽表 | 百亿级明细 |
| 延迟要求 | 毫秒到秒 | 秒到分钟 | 分钟到小时 |
| 更新频率 | 高频小事务 | 批量覆盖 | 追加为主 |
| 成本敏感度 | 低(量小) | 中 | 高(量大) |
四、三种常见错配
第一种是把明细流水搬进湖里做实时看板。看板要求三秒刷新。链路是分钟级落文件。结果看板永远慢半拍,运营以为数据丢了。
修法是把实时指标留在库或流上算。湖只负责存明细和出 T+1 报表。两条链路各干各的,别硬凑成一条。
第二种是把三年历史塞回业务库。理由是"查起来方便"。代价是备份变大、DDL 变慢、缓冲池被冷数据挤占。最后连主键都快用完。
修法是按时间分区加归档。冷数据放湖,需要时回灌到临时实例。别为了让一句 SQL 好写,把整个库拖慢。
第三种是把湖当备份。时间旅行能回到某个快照,前提是文件还在、元数据还在。有人误删了桶,或者元数据服务出问题,回不去。备份要有独立副本和独立恢复流程。
五、口径要在分层之前定死
数据一跨层,口径就会分叉。库里的订单金额含不含运费。宽表里含不含退款。湖上明细怎么处理取消单。三处定义不一致,报表会自己跟自己打架。
这问题不是技术能兜的。只能在分层前把定义写下来。落到一处,三层都引用它。做法很土,但有效。
每个指标写一句定义,加一个负责人,加一份校验 SQL。上了层之后每天跑一次。三层数对不上就报警。
我现在的习惯是,只要跨层就先花半天写口径表。比事后对数省事得多。
六、避坑清单
先问"谁在几点要这个数",再决定放哪层。这句话听着像废话。但它是唯一能避免"搬对地方、错了时效"的问法。
湖不是更便宜的库。单位存储便宜,不等于总成本低。链路运维、延迟带来的返工、口径分叉带来的对数,都要算进去。
最后一条是我自己踩的。报表搬完那天,我验证的是数据对不对。抽样比了行数和金额,全对。我没验证业务什么时候能看到,也没问日报的截止时间。后来我们补了一条规则:任何数据搬迁,验收单上必须有一行"业务可见时间"。填不上就不许上线。
写在最后
分层不是技术选型,是把业务的时效要求翻译成数据的存放位置。翻译错了,技术再漂亮也不解决问题。
给一句判断口诀。更新的留在库里,聚合的进分析层,历史的沉到湖里。三层各干各的,别让一层去干三层的活。文中的链路延迟与耗时都是示意值,说明的是量级关系。
你们的报表现在是 T+1 还是实时?有没有哪张表搬走之后,业务反而更不方便?这两个问题决定分层对不对。评论区说说,我帮你看看该放哪层。
我是数据库小学妹,帮你少走弯路少踩坑,咱们下篇见👋
- 点赞
- 收藏
- 关注作者
评论(0)