新一代智能数据湖华为云FusionInsight,用数据驱动业务增长新动能
2020年9月23日至26日,以“共创行业新价值”为主题的华为全联接2020在上海世博中心隆重召开。作为全球ICT产业最重要的盛会之一,华为全联接2020(以下简称HC2020)吸引了全球ICT产业各方思想领袖、技术大咖、先锋企业及生态合作伙伴与开发者们相聚一堂,畅谈行业发展,共赢行业未来。华为云大数据发布了新一代智能数据湖和线上直播了相关session。
行业智能升级进入深水区,华为云基于全面技术创新与丰富行业实践,发挥生态协同优势,加速行业智能升级,普惠千行百业。9月24日,华为云CTO张宇昕出席了“华为云,技术创新加速行业智能升级”峰会,并做了主题演讲,解读以云为核心的行业数字化转型框架,展现政企智能升级的最佳路径,华为云基于最佳的云平台能力,赋能应用、使能数据,做智能世界的黑土地。
为了应对数据极速增长带来的多样性业务诉求,华为云CTO张宇昕在峰会上重磅发布了华为云FusionInsight新一代智能数据湖,通过一云一湖两引擎,使能数据治理和运营,释放海量数据价值。
新一代智能数据湖华为云FusionInsight的出现并不是偶然,而是时代发展的必然。伴随着5G的加速落地,全球已建成70万+5G基站,覆盖了1亿+5G用户,通过云、计算、AI、行业应用及大数据技术融合发展,以深圳为起点,华为助力其成为全球数字经济样板城市。未来,智慧城市将是城市发展的必然结果。
随着智慧城市建设的不断深入,5G、AI、IoT等技术的广泛应用,据预测数据量将激增5-8倍,数据种类越来越多,时效性要求更高,城市中大数据不断在部门、行业之间流动成为趋势,城市中各职能部门和社会企业的数据需要融合分析,从割裂的数据孤岛,走向“一城一云一湖”。同时,企业越来越重视利用数据驱动业务增长,加速建成“一企一云一湖”。如华为公司流程IT,基于FusionInsight智能数据湖,构建规模10000+节点的大集群,承载数据500+PB,日高峰写入数量580GB/s,查询任务日均10000+,批处理作业日均100000+;在应用层,实现50+个产品,100000+报表,支撑10000+个运营和分析用户。在华为数字化过程中,FusionInsight解决了大数据从存储、使用、计算和管理等方面的诸多挑战。
华为云为响应政企客户业务发展需要与技术创新需求,结合自身用数经验和十年+行业积累,新一代智能数据湖FusionInsight应运而生,助力政企客户实现“一企一湖”,让业务洞见更准确,数据价值兑现更敏捷。新一代华为云FusionInsight智能数据湖,通过HetuEngine计算引擎和CarbonData存储引擎,双擎驱动,支撑EB规模海量数据,秒级用数;通过DAYU的数据治理与运营平台实现数据标准化,助力客户持续沉淀数据资产。
华为云FusionInsight新一代智能数据湖具有存得省、用得简、算得快、管得易四个特点:
存得省:通过OBS对象存储,结合自研企业级EC,实现大数据最低1:1.09备份,使存储周期提升2倍+,TCO降低30%;某移动使用FusionInsight搭建了大数据平台应对5G数据浪涌,其规模达1500+节点,支撑了包括疫情防控在内的各类政务、旅游、精准扶贫等200+大数据应用服务,覆盖用户1.3亿+。
用得简:通过CarbonData一份数据支持批、流、交互查询多场景使用,T+0实时增量同步更新,优化大数据索引实现秒级用数;在交通,深圳地铁 6 号线、10 号线在8月18日正式开通,是深圳首批 5G 全覆盖地铁线,利用大数据等技术,建成了统一的城轨数字平台,支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策等数据分析,使车地转储解更快,设备健康管理更准。
算得快:通过河图引擎,实现跨引擎、跨源、跨域融合分析,让数据分析不出湖,分析提效2-10倍;今年疫情突发,华为云FusionInsight MRS仅用20天+在全国陆续上线疫情防控大数据平台,在某地仅用数秒从千万人口中精确找出疑似病患,及时保障人民生命财产安全。
管得易:通过DAYU,为伙伴提供100+开放API接口,持续沉淀数据、知识、模型资产;在大企业,利用大数据技术助力智能电网,支撑能源大数据、网上电网等30多个重点业务系统,实现27类数据统一标准化,实现生产过程数字化、智能化。
华为云FusionInsight持续10年+投入大数据核心技术研究,已是60+国家,3000+客户共同选择的数字底座。新一代智能数据湖,将采用一云一湖两引擎,使能数据治理和运营,释放海量数据价值,用数驱动业务增长,助力政企客户实现“一企一湖,一城一湖”!
在9月28日还有华为云FusionInsight资深架构师为大家分享MRS跨越裂谷,走向“一企一湖,一城一湖”的session直播。
华为云FusionInsight MRS凭借十年+的大数据研发经验和丰富的实践沉淀,通过大、快、融、稳四大特性,跨越扩展性瓶颈、性能瓶颈、融合瓶颈及地域瓶颈、连续性瓶颈五大裂谷,助力实现“一企一湖,一城一湖”。
大:单集群支持2万+节点超大规模,可集群联邦无限扩容,实现一企一湖持续演进。同时,自主研发Superior超级调度器,进行优先级自动化管理,调度速率可达每秒35万个Container;
快:通过Carbondata实现PB级数据秒级查询,可T+0实时增量更新,支持大数据ACID,秒级用数;
融:通过HetuEngine实现五大融合。首先是跨域融合,全局数据对于用户可视,跨域的数据协同更容易,响应时间由数天减少到分钟级;其次是跨源融合,河图引擎不仅在湖内实现统一SQL访问,湖与湖之间,湖与MPPDB之间实现了跨异构数据源的协同访问;第三是多引擎融合,河图引擎通过统一的应用入口开放给上层的渠道和应用,只需要访问一个SQL引擎即可满足需求;第四是资源的融合,将集群资源统一融合为一个大的资源池,通过Superior将集群资源融合并统一管控,能够将资源动态发放给租户,且相互隔离互不影响;第五是算力的融合,MRS对于硬件资源的异构兼容能力极具竞争力,可以将企业内的CPU/NPU/GPU各种算力统一在一个硬件资源池内上层应用无感知。通过五大融合,华为云FusionInsight实现打通了数据湖与数据仓库之间的链路,实现了湖仓一体,更引导数据湖向“一企一湖,一城一湖”发展成为现实,让数据分析更简单;
稳:FusionInsight MRS一直秉承着保障集群永远在线,除了7X24不间断稳定运行之外,还支持滚动升级,让业务不中断,确保业务连续性,稳如磐石。
- 点赞
- 收藏
- 关注作者
评论(0)