《数据中台实战》:数据中台的分层建模体系

举报
格图洛书 发表于 2021/11/19 00:06:00 2021/11/19
【摘要】 数据中台数据模型的分层,业界比较通用的分层方式是将数据模型分为5层:①ODS(Operate Data Store,操作数据层)、②DIM(Dictionary Data Layer ,维度数据层)、③DWD(Data Warehouse Detail ,明细数据层)、④DWS(Data Warehouse...

数据中台数据模型的分层,业界比较通用的分层方式是将数据模型分为5层:①ODS(Operate Data Store,操作数据层)、②DIM(Dictionary Data Layer ,维度数据层)、③DWD(Data Warehouse Detail ,明细数据层)、④DWS(Data WarehouseService,汇总数据层)、⑤ADS(Application Data Store,数据应用层)。

 

各层数据模型之间的关系如图1-1所示。

 

图片

 

图1-1  分层模体系

第一层是ODS和DIM层。ODS层数据是数据仓库的第一层数据,是业务数据库的原始数据的复制,例如,每条产品线的用户信息、订单信息等数据一般都是原封不动地同步到数据中台的ODS层中。ODS层的作用是在业务系统和数据仓库之间形成一个隔离层,在数据中台进行计算任务时,可以以ODS层的数据为基础进行计算,从而不给业务数据库增加负担。DIM层存储的是维度数据如城市、省份、客户端等维度的数据。

第二层是DWD。DWD层数据是数据仓库的第二层数据,一般是基于ODS和DIM层的数据做轻度汇总。DWD层储存经过处理后的标准数据,需要对ODS层数据进行再次清洗(如去空/去脏数据、去超过极限的数据等操作)。DWD层的结构和粒度一般与ODS层保持一致,但是DWD汇总了DIM层的维度数据,比如在ODS层只能看到客户端的ID

文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。

原文链接:wenyusuran.blog.csdn.net/article/details/116457779

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。