《数据中台实战》:数据中台的分层建模体系
数据中台数据模型的分层,业界比较通用的分层方式是将数据模型分为5层:①ODS(Operate Data Store,操作数据层)、②DIM(Dictionary Data Layer ,维度数据层)、③DWD(Data Warehouse Detail ,明细数据层)、④DWS(Data WarehouseService,汇总数据层)、⑤ADS(Application Data Store,数据应用层)。
各层数据模型之间的关系如图1-1所示。
图1-1 分层模体系
第一层是ODS和DIM层。ODS层数据是数据仓库的第一层数据,是业务数据库的原始数据的复制,例如,每条产品线的用户信息、订单信息等数据一般都是原封不动地同步到数据中台的ODS层中。ODS层的作用是在业务系统和数据仓库之间形成一个隔离层,在数据中台进行计算任务时,可以以ODS层的数据为基础进行计算,从而不给业务数据库增加负担。DIM层存储的是维度数据如城市、省份、客户端等维度的数据。
第二层是DWD。DWD层数据是数据仓库的第二层数据,一般是基于ODS和DIM层的数据做轻度汇总。DWD层储存经过处理后的标准数据,需要对ODS层数据进行再次清洗(如去空/去脏数据、去超过极限的数据等操作)。DWD层的结构和粒度一般与ODS层保持一致,但是DWD汇总了DIM层的维度数据,比如在ODS层只能看到客户端的ID
文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。
原文链接:wenyusuran.blog.csdn.net/article/details/116457779
- 点赞
- 收藏
- 关注作者
评论(0)