数据分层实践:事务库、分析层与湖仓分工

举报
数据库小学妹 发表于 2026/11/17 09:47:44 2026/11/17
【摘要】 报表从业务库搬到湖里,第二天早上被问"昨天的数怎么还没出来"。文章把数据分成事务库、列存分析、湖仓三层,讲清表格式解决了什么没解决什么,用延迟、更新频率、数据量、成本四个判据做分层判断,并给出常见错配的修法。

大家好,我是数据库小学妹👋 我踩过的坑,你别再踩。

九月做了一次报表改造。几张明细表从业务库搬到湖上,理由是主库被报表压得喘不过气。搬完负载降了一半,我挺得意。结果第二天早上八点半,老板问我"昨天的日报怎么还没出来"。我打开调度一看,链路正常,它本来就是 T+1 的。而我从没问过业务,这份日报几点要。

一、三层各管一段

先说清三层。事务库是事实来源,负责写入、事务、一致性。它的强项是毫秒级点查和高并发小事务。行存为主的库在超大范围扫描上不占优,这是存储结构决定的,不是能力问题。

列存分析层按列存储、批量压缩。扫几千万行做聚合很快。弱项是单行更新和点查。湖仓建在对象存储上,管历史和多源,容量便宜、格式开放。列存为什么快,我在 ClickHouse 那篇里拆过原理。

三层不是替代,是分工。事务库存正在发生的事。分析层回答"这个月卖得怎么样"。湖仓存"三年前的每一笔原始记录"。混成一件事,就会出我那种局面。这三层是逻辑分层,不是产品清单,融合型数据库可以把前两层放进一个产品里。

数据搬对了地方,时效对不上业务。技术没错,判断错在起点。这件事之后,我才去补时效这一课。补课比改代码难。

层 主要负载 强项 弱项
事务库 写入、点查、事务 毫秒级响应、强一致 超大范围扫描不占优(行存结构)
列存分析层 聚合、宽表扫描 大批量扫描快、压缩比高 单行更新弱、点查延迟高
湖仓 历史明细、多源汇聚 容量便宜、格式开放、可回溯 端到端延迟高,秒级可见难

二、表格式解决了什么

湖仓这两年热,核心是表格式。Iceberg、Hudi、Delta 都算这一类。它们给对象存储加了一层元数据。让一批文件具备提交、回溯、schema 演进的能力。

说白了,以前往对象存储写文件,读到一半可能读到半成品。有了表格式,读的人只看到已提交的快照。这一层解决了"数据湖不可靠"的老问题。但可靠不等于实时。

但它没解决的东西同样明确。第一是低延迟点查。对象存储的请求延迟摆在那里,再优化也追不上本地盘的 B 树。第二是高并发小事务,一百个人同时改一行,不是它的场景。第三是秒级可见。从业务库变更到湖上可查,中间要过好几步。采集、传输、落文件、提交元数据,每一步都有延迟。这几步的耗时,要分别量一次。

业务库 --(变更采集)--> 消息/缓冲 --(写入)--> 湖上文件 --(提交元数据)--> 可查
   毫秒级                秒级累积            分钟级文件           快照可见

这条链路的总延迟,决定了湖上能做多实时。要 T+0 看板,就别把主链路放湖上。要 T+1 报表、要历史回溯、要多源拼宽表,湖仓就很合适。

三、四个判据,把"放哪"变成算术

判断放哪一层,我一般问四个问题。数据量多大。延迟要求多少。更新频率多高。成本能接受多少。四个答案都能落到数上。

千万行以内、要求秒级、更新频繁,留在事务库。加只读副本扛读就行。上亿行、要复杂聚合、更新不频繁,进列存分析层。

百亿行原始明细、要长期保留、要跨源拼表,进湖仓。四种情况交叠时用冷热分层。热数据留库,冷数据下沉。

判据 倾向事务库 倾向分析层 倾向湖仓
数据量 千万行以内 亿级宽表 百亿级明细
延迟要求 毫秒到秒 秒到分钟 分钟到小时
更新频率 高频小事务 批量覆盖 追加为主
成本敏感度 低(量小) 中 高(量大)

四、三种常见错配

第一种是把明细流水搬进湖里做实时看板。看板要求三秒刷新。链路是分钟级落文件。结果看板永远慢半拍,运营以为数据丢了。

修法是把实时指标留在库或流上算。湖只负责存明细和出 T+1 报表。两条链路各干各的,别硬凑成一条。

第二种是把三年历史塞回业务库。理由是"查起来方便"。代价是备份变大、DDL 变慢、缓冲池被冷数据挤占。最后连主键都快用完。

修法是按时间分区加归档。冷数据放湖,需要时回灌到临时实例。别为了让一句 SQL 好写,把整个库拖慢。

第三种是把湖当备份。时间旅行能回到某个快照,前提是文件还在、元数据还在。有人误删了桶,或者元数据服务出问题,回不去。备份要有独立副本和独立恢复流程。

五、口径要在分层之前定死

数据一跨层,口径就会分叉。库里的订单金额含不含运费。宽表里含不含退款。湖上明细怎么处理取消单。三处定义不一致,报表会自己跟自己打架。

这问题不是技术能兜的。只能在分层前把定义写下来。落到一处,三层都引用它。做法很土,但有效。

每个指标写一句定义,加一个负责人,加一份校验 SQL。上了层之后每天跑一次。三层数对不上就报警。

我现在的习惯是,只要跨层就先花半天写口径表。比事后对数省事得多。

六、避坑清单

先问"谁在几点要这个数",再决定放哪层。这句话听着像废话。但它是唯一能避免"搬对地方、错了时效"的问法。

湖不是更便宜的库。单位存储便宜,不等于总成本低。链路运维、延迟带来的返工、口径分叉带来的对数,都要算进去。

最后一条是我自己踩的。报表搬完那天,我验证的是数据对不对。抽样比了行数和金额,全对。我没验证业务什么时候能看到,也没问日报的截止时间。后来我们补了一条规则:任何数据搬迁,验收单上必须有一行"业务可见时间"。填不上就不许上线。

写在最后

分层不是技术选型,是把业务的时效要求翻译成数据的存放位置。翻译错了,技术再漂亮也不解决问题。

给一句判断口诀。更新的留在库里,聚合的进分析层,历史的沉到湖里。三层各干各的,别让一层去干三层的活。文中的链路延迟与耗时都是示意值,说明的是量级关系。

你们的报表现在是 T+1 还是实时?有没有哪张表搬走之后,业务反而更不方便?这两个问题决定分层对不对。评论区说说,我帮你看看该放哪层。

我是数据库小学妹,帮你少走弯路少踩坑,咱们下篇见👋

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。