他的回复:
关于数据仓库建议、感想一、当前数据平台之间存在的现象①需求响应慢一个需求就得半个小时,一个小时之久,降低了数据变现、问题排查速度。②数据质量不可靠经常存在数据不一致情况,有如下可能,1:上下游出错,如上游etl数据库导表同步延迟,同步失败2:统计方式不一致,如统计ip地域时,有可能因为ip数据字典文件不一致,导致统计地域值不同。3:哥们,你真的算错了,你再看看脚本与需求③数据不可信老大有一天突然问你,你这个数准吗,你经得起质疑吗,敢于拍着胸口说,That's correct。数据就是自己的招牌,不要砸了自己的招牌。④维护成本高数据冗余,带来的更新成本,一致成本运维,补数据成本元数据管理成本⑤数据安全不可控传统的业务系统天生就带有安防性质,数据分散在多个业务系统与数据库,数据泄露,也会隔离在某个业务领域。而数据仓库则不然,业务的覆盖范围广,时间周期长,数据泄露的损失非常大。二、hive数据仓库hadoop数据仓库 存储成本etl耗时hive低廉时间长传统RDW高时间段hadoop相比传统关系数据仓库etl耗时,但是存储成本低廉,因此更适合针对统计分析业务,建立宽维度表,降低多次etl带来的时间消耗。比如统计全站用户登陆 ,全站3g用户登陆,全站3g性别为男用户登陆,这其中的etl结果都可以多次复用,减轻存储成本。三、感想注册、用户、登陆是公司核心,流量是基础,其他产品围绕流量变现。数据仓库建模,第一要保证所有原始数据入库,保证数据可追查、可变现。第二针对核心业务,用户、注册、登陆,etl,形成大表,便于查询,按天分区第三对于在核心业务之上,衍生出来的第二批次业务,只保留当天etl表,历史etl数据不再保存需要考虑数据仓库现状,是基于hadoop&hive的,还是oracle的。不同的数据仓库因为成本运维不多,带来的设计方式也不同。