建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
093454tjmehwgqrskef4if.jpg 文字识别 百万调用 1元包年 2020年华为云AI实战营 华为云普惠AI

狼族狼心

发帖: 8粉丝: 0

级别 : 版主

发消息 + 关注

发表于2020-1-6 15:11:26 14955 2
直达本楼层的链接
楼主
显示全部楼层
[服务公告] 华为云"存算分离+鲲鹏"大数据云服务荣获"2019年度大数据行业创新产品奖"

    12月10日,以“数智融合创新 赋能实体经济”为主题的第六届中国国际大数据大会在北京举行,华为云结合ABC(AI+ Big Data+ Cloud)技术打造智能数据湖平台,在大会发布的20**数据行业评选结果:华为云智能数据湖采用的关键技术“存算分离+鲲鹏”大数据云服务荣获“2019年度大数据行业创新产品奖”

华为云“存算分离+鲲鹏”大数据云服务荣获

“2019年度大数据行业 创新产品奖”

    耀眼的刹那,是华为在大数据领域近二十年耕耘,厚积薄发的优势呈现:从2002年起,华为投入了上千研发人员进行技术研发(包括产品化技术的研发,及机器学习、NLP等前沿技术研究),同时将研究成果积极回馈给社区。

            2002年开始在电信领域面向传统BI业务开发数据治理和分析产品;
            2007年开始投入Hadoop技术研究,布局大数据技术,储备大量人才和技术专利;
            2011年将大数据技术应用在电信大数据解决方案中,用于网络诊断与分析,网络规划,网络调优等;
            2012正式规模投入AI并开始陆续产品化,2015年底开始在财经,供应链,工程验收,电商等各个产品进行内部实践,例如部署报关单据识别OCR,导入效率提升10倍;

            2013年招商银行&工商银行等企业开始与华为交流大数据需求,并启动技术合作;

            2017年开始以华为云服务方式提供服务,联合更多的合作伙伴一起对外提供更丰富的大数据&人工智能实践。


    随着云+AI+5G的技术浪潮扑面而来,数据洪水一波一波涌来,在技术大裂变的前夜,大数据领域面临着哪些挑战:

1) 提升“算”的效率:

当前大部分时间花在数据准备上,真正产出价值的分析时间很少:以销售预测为例,传统方案要24小时采集数据,3小时转换数据做ETL入库,1小时准备训练数据,最终半小时训练+推理得到销售预测,数据等1天才能获得结果。

在真正计算时传统方案存算一体,难以充分利用云上的澎湃算力集中打歼灭战,能否存算分离,获得快速0~N的极致弹性,实现极致的性价比?

2) 提升“管”的效率:

虽然企业的各个业务单元都拥有数据,但数据定义往往不统一,如同烟囱一样不能打通使用,在具体用数据时,不知在哪可以找到,也不知道数据对不对,其实就是缺乏有效的数据治理。

3) 提升“学”的效率:

智能数据湖拥有如此丰富全面的数据分析、计算、可视化等场景,能否加持AI,快速学习,让机器边算边学,越学越快。


    针对大数据领域“算”、“管”、“学”三大挑战,华为通过三大技术来应对:

存算分离+鲲鹏,极致弹性

更高算力,更高性价比

    首先,华为通过智能数据湖方案整体大幅降低数据准备的时间,采用Schema-on-read模式,数据实时入湖,直接基于原始数据分析;采用增量式分析,一次一小批,进行持续分析。更重要的是,通过存储和计算解耦,计算按需弹性伸缩,有效支撑业务波峰波谷,更快完成计算。

    传统大数据平台存算一体耦合在同一集群,主要基于本地HDFS作为大数据存储,在面对千行百业数字化高速发展下面临一些难以逾越的技术架构不足,比如无法灵活配置存储和算力、可靠性及可运维能力低、性价比低、无法真正发挥数据价值、存在重复投资等。

华为云“存算分离+鲲鹏”大数据云服务采用计算存储分离架构,存储基于华为云对象存储实现11个9的高可靠,无限容量,支撑企业数据量持续增长;计算资源支持0~N弹性扩缩。

    存储和计算资源可以根据业务实际需求按需独立进行弹性伸缩,资源匹配更精准、更合理,大数据集群资源利用率大幅提升。计算存储分离后,通过华为自研Carbondata对数据进一步优化组织,实现业界首个基于数据湖的事务管理,支持流数据自动去重,数据无重复无遗漏,支持数据增删改,并实现最高隔离级别的ACID,结合智能多维索引,基于业务感知的软件缓存技术,实现数据访问进一步加速。


性能提升的另一个方向是软硬件结合,垂直优化,充分利用华为鲲鹏处理器多核高并发能力,并结合自研EulerOS,

提供多类型优化,如JDK,软件多实例绑核,RoCE网络加速,加解密、压缩等热点函数硬件加速,充分释放硬件算力。

在性能相当情况下,成本下降30%,为大数据用户提供更高性价比的智能数据湖。


    不仅如此,华为云始终坚持开放生态路线,华为云智能数据湖完全兼容开源原生接口,100%兼容主流的大数据生态,让企业大数据应用“0改造”平滑迁移上云。


一站式高效易用的数据治理

运营平台DAYU,全流程可视

    基于华为10年数据体系建设沉淀数据规范设计方法论,覆盖数据接入、开发、治理,主题模型设计、数据可视及开放,打造一站式数据治理运营平台DAYU,支持30+数据源接入,超过10万作业并发,用户可以全流程托拽方式实现数据端到端开发治理,同时DAYU支持分层开放,支持用户方便的集成,快速构建基于行业的数据化转型平台、企业数据中台。

多元计算,AI引擎

自动学习,自动调优

    华为云智能数据湖提供大数据批量计算,流式计算,交互式分析,搜索,数仓,AI引擎等多元计算能力,实现多技术融合,如大数据+数据库技术融合,打造支持复杂分析、性能领先的实时流数仓。

    同时创新的将AI与大数据融合,打造AI引擎,实现数据+AI算法/模型的协同,支持结构化/半结构化/非结构化全域数据分析,将AI能力作为数据处理过程的标配能力,通过简单的SQL即可使用AI。

    另一方面引入AI技术,自动感知并学习引擎运行的过程参数,结合数据特征以及业务实时负载,实现引擎的AutoTunning,让引擎逐步变得更聪明,在数据处理过程中,自动感知数据的特点,自动学习,对大数据处理进行自动调优,进一步提升了大数据性能。


    正因为具备如上三大优势,让华为云智能数据湖平台和“存算分离+鲲鹏”大数据云服务一经推出,便获得多家业界知名客户青睐。以一家业界领先的视频直播厂商为例,对于性能和稳定性要求极高,迁移到华为云后,相比自建的IDC,性能提升超1倍。


开放合作
与伙伴携手,共建未来

    华为全球产业展望(GIV)报告显示,企业生产活动产生的数据中只有不到2%被保存,而其中得到分析利用的不足10%。由此可以看出,数据的价值还远远没有释放。

    为了让数据最大化发挥价值,华为云会与各行业伙伴合作,开放智能数据湖平台能力,赋能行业合作伙伴,结合智能数据湖平台和行业伙伴的行业经验知识,共同打造智能数据湖解决方案,帮助客户打破数据孤岛,快速完成业务创新和数据价值变现。

    截止目前,华为云智能数据湖已在电商、物流、汽车、园区、政府、互联网、金融、能源、教育等众多行业有成功案例,并且已与普华、希嘉、中软、德勤、兴海物联、傲亚等诸多行业伙伴合作共建生态,加速数字化转型。并诚邀更多的伙伴加入共建未来。


立即体验数据湖探索 DLI


举报
分享

分享文章到朋友圈

分享文章到微博

AI学习者

发帖: 37粉丝: 1

级别 : 注册会员

发消息 + 关注

发表于2020-3-9 17:15:10
直达本楼层的链接
沙发
显示全部楼层

祝贺!

请问,存算分离和数据治理, 有什么逻辑关系?  数据治理,一定需要基于存算分离的平台才高效吗?

点赞 评论 引用 举报

狼族狼心

发帖: 8粉丝: 0

级别 : 版主

发消息 + 关注

发表于2020-4-8 10:51:06
直达本楼层的链接
板凳
显示全部楼层

存算分离是大数据整体解决方案,将数据的存储和计算分开,相互独立。如果数据存储体量大,仅需扩大存储资源即可,使资源利用率达到最大化。

数据治理是零散的数据变为统一的数据,从混乱到有序的过程。

数据治理可在存算分离架构中实现,存算分离提供的是高性价比的大数据解决方案

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册