国内数仓产业的见解吗?

举报
yd_282568173 发表于 2023/02/26 16:07:49 2023/02/26
【摘要】 数据库的诞生,实际上是伴随着计算机的诞生,人类数据信息管理和处理方式的一种升级。但是数据库诞生之初,还是没有数仓的,数仓其实是在80年代以后,人们对于数据管理和处理的诉求进一步提升,数据量增加,数据分析的复杂度和维度变得更大了以后,才开始产生面向分析的负载,然后才有数据仓库的诞生。在我看来,数据仓库的诞生,它就代表人们不再满足于对数据做简单的存储和操作管理,而是尝试从数据中去挖掘价值,通过分...

数据库的诞生,实际上是伴随着计算机的诞生,人类数据信息管理和处理方式的一种升级。但是数据库诞生之初,还是没有数仓的,数仓其实是在80年代以后,人们对于数据管理和处理的诉求进一步提升,数据量增加,数据分析的复杂度和维度变得更大了以后,才开始产生面向分析的负载,然后才有数据仓库的诞生。在我看来,数据仓库的诞生,它就代表人们不再满足于对数据做简单的存储和操作管理,而是尝试从数据中去挖掘价值,通过分析数据来支撑商业决策。当然数仓也在不断发展,从描述型的数仓,演进为探索型的数仓,再到运营型的数仓,发展到今天我认为已经进入到了智慧型的数仓时代。

主持人:可以请您谈一下对国内数仓产业的见解吗?比如国内需要怎么样的数仓产品,有哪些场景迫切需要数仓的发展与演进,这些场景对数仓提出了哪些能力要求?

曾博:我觉得数仓产品的发展和演进方向可以用一个词来总结,就是“融合”,这些包括传统数仓技术与云计算的融合,流与批的融合,湖和仓的融合,数据和AI的融合,TP与AP的融合等等:

一是传统数仓技术与云计算的融合,也就是云原生serverless化,目前数据仓库的架构正向云原生演进,其典型技术特征是存算分离。这种新架构可以给用户带来极致的弹性,同时降低成本和提高资源利用率。二是流与批的融合,我们也称实时分析,像实时风控、实时营销、实时授信等场景越来越需要对当前最新产生数据进行即时的分析。三是湖和仓的融合,也就是湖仓一体,将数据湖和数据仓库有机结合,充分融合数据仓库的高性能与数据湖的低成本,实现冷热数据分级、价值密度分级,同时承载结构化、半结构化及非结构化的海量数据的多样化处理。四是数智融合,也就是融合数据平台和AI平台,实现能力互补,将数据仓库数据管理能力与ML流程生命周期管理结合。五是TP与AP的融合,运用HTAP,构建一套系统,既支持TP又支持AP能力,同时降低成本、减少系统运维和ETL开销。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。