【云驻共创】创未来、享非凡之鲲鹏产品分享
1、关于鲲鹏
鲲鹏计算产业是基于鲲鹏处理器的基础软硬件设施、行业应用及服务,涵盖从底层硬件、基础软件到上层行业应用的全产业链条。纵观鲲鹏计算产业生态全景,硬件方面,围绕鲲鹏处理器,涵盖包括昇腾AI芯片、智能网卡芯片、底板管理控制器(BMC)芯片、固态硬盘(SSD)、磁盘阵列卡(RAID卡)、主板等部件以及个人计算机、服务器、存储等整机产品。基础软件方面,涵盖操作系统、虚拟化软件、数据库、中间件、存储软件、大数据平台、数据保护和云服务等基础软件及平台软件。行业应用方面,鲲鹏计算产业生态覆盖政府、金融、电信、能源、大企业等各大行行业应用,提供全面、完整、一体化的信息化解决方案。
华为提供全栈ICT产品,筑牢数字化底座,其中鲲鹏占有重要一席。
鲲鹏计算经过不断发展,目前涵盖的产品包括openEuler、openGauss、毕昇编译器、BoosKit、DevKit。
鲲鹏目前秉着全栈开放,使能极致性能、极简开发有宗旨为用户提供服务。
目前鲲鹏产品已应用于各行种业中,如政府、金融、运营商、电力、交通、制造。
2、鲲鹏产品介绍
鲲鹏产品主要包括openEuler、openGauss、毕昇编译器、鲲鹏BoostKit、鲲鹏DevKit。
2.1 openEuler
鲲鹏openEuler通过11年发展,砥砺创新,从自用到开放开源,再到现在生态蓬勃发展。
鲲鹏openEuler自2012年开始诞生,于2016年逐步在封闭场景商用,在2019年逐步在开放场景商用,2020年全面开源,2022年升级全场景支持、同时发布了全新欧拉系统,在2023年达到跨越生态拐点,比肩国际社区水平,同时预计新增市场份额超35%。
openEuler是一款开源操作系统。当前openEuler内核源于Linux,支持鲲鹏及其他多种处理器,能够充分释放计算芯片的潜能,是由全球开源贡献者构建的高效、稳定、安全的开源操作系统,适用于数据库、大数据、云计算、人工智能等应用场景。同时,openEuler是一个面向全球的操作系统开源社区,通过社区合作,打造创新平台,构建支持多处理器架构、统一和开放的操作系统,推动软硬件应用生态繁荣发展。
openEuler愿景:全场景协同与覆盖,助力数字世界互联互通。
华为鲲鹏最新发布的openEuler 23.09 是基于6.4内核的创新版本,面向服务器、云、边缘计算和嵌入式场景,提供更多新特性和功能,给开发者和用户带来全新的体验,服务更多的领域和更多的用户。同时支持全场景能力持续增强,及全面升级的AI能力。
应用案例:
openEuler助力上交所打造了低时延OS解决方案,为上交所整体服务吞吐量提升了60%,端到端时延降低了20%。
2.2 openGauss
openGauss是一款开源关系型数据库管理系统,采用木兰宽松许可证v2发行。openGauss内核深度融合华为在数据库领域多年的经验,结合企业级场景需求,持续构建竞争力特性。
2019年9月19日在华为全联接大会上,华为宣布将开源其数据库产品,开源后命名为openGauss。
2020年6月30日open Gauss数据库源代码正式开放。
2023年5月25日-26日,在openGauss开发者大会2023上,openGauss 5.0推出DataPod+DataKit组合和第三代智能优化器ABO,打造全新的数据底座;海量数据、云和恩墨、南大通用、沃趣科技正式发布首批基于openGauss发行版的数据库一体机产品;openGauss社区正式发布openGauss伙伴专业保障服务,首批8家优秀伙伴通过认证成为社区服务伙伴。
openGauss具有以下特点:
- 高性能——两路鲲鹏性能150万tpmC;
- 高可靠—— 故障切换时间RTO<10s;
- 高安全 —— 端到端全方位安全防护;
- 易运维——基于AI的智能参数调优;
在2023年,华为openGauss 5.0发布了DataPod+DataKit组合和第三代智能优化器ABO,打造全新的数据底座;以便适应最近较流行的大规模数据处理的需求。
应用案例:
中国邮储银行原有系统采用小型机、商业软件方式打造的基础设备为银行提供日常运营服务,随着业务不断发展,用户数量不断增加,全国网点数量不断扩张,原有传统服务器方式已无法满足日益增长的业务需求。
银行将底层平滑迁移至鲲鹏全栈系统后,使用鲲鹏开源开放、分布式系统架构,紧贴技术前沿,加速金融创新,迁移后柜面交易平均耗时减少了51%,全天联机平均耗时减少30%,系统负载峰值TPS提升319%,目前已能较好的满足了银行未来3-5年的发展扩张需求。
2.3 毕昇编译器
华为毕昇编译器基于开源LLVM开发,并进行了优化和改进,同时支持Fortran语言前端,是针对鲲鹏平台的高性能编译器。除LLVM通用功能和优化外,对中端及后端的关键技术点进行了深度优化,并集成AutoTuner特性支持编译器自动调优。
毕昇编译器单算力极致优化,多算力融合编译,释放硬件极致性能。
毕昇编译器发展历程:
- 2018年毕昇JDK版本发布
- 2020年毕昇编译器&ExaGear
- 2023年9月AI与毕昇编译相结合精准调优、提升效率
- 预计2024年9月会推出毕昇融合编译器0,实现高效算力编译底座及AI融合
应用场景:
背景与挑战
- 历史经验验证工作量巨大:Intel X86服务器替换IBM小型机时,为保证正确性和稳定性,投入整个团队进行了一年以上的优化。
- 应用本身容易受到扰动影响:气象应用大部分是非常复杂的非线性系统,系统中任何处稍有差异,最终的结果在大量迭代之后误差会迅速累积。
- 问题解决需求全栈技术能力:精度差异可能来源于整个HPC解决方案的各个环节,需要通过全找HPC组件的分析、开发能力来解决。
浙江气象局通过与华为合作,基于鲲鹏HPC建设大规模气象预报系统,通过毕昇编译器,提高了工作效率。
关键成果:
突破浮点精度调优技术,协同Hyper MPI,鯤鹏数学库等,实现业务核心应用精度100%-致
基于鲲鹏全栈,结合气象应用典型特征,进行垂直全栈优化端到端性能提升10% +。
2.4 鲲鹏BoostKit
鲲鹏应用使能套件BoostKit,基于硬件、基础软件和应用软件的全栈优化,提供高性能开源组件、基础加速软件包和应用加速软件包,使能应用极致性能。
鲲鹏BoostKit发展历程:
- 2020年,发布场景化性能调优
- 2021年,发布“数据亲和”加速
- 2022年,发布“数据亲和”五大加速组件
- 2023年,发布升级5大场景化能力
目前由于鲲鹏BoosKit使能开源,目前已有95%开源社区支持鲲鹏,240万+服务的鲲鹏开发者数量、3600万+社区下载量。鲲鹏BoosKit通过5年发展,已实现从开源使能到鲲鹏全栈竞争力使能蜕变,助力伙伴成功。
2.5 鲲鹏DevKit
鲲鹏DevKit提供涵盖代码迁移、开发调试、编译、测试、调优及诊断等各环节的开发使能工具,方便开发者快速开发出鲲鹏亲和的高性能软件。
鲲鹏DevKit通过5年持续锻造鲲鹏IDE,助力用户极速迁移、极简开发,现已支撑10,000+鲲鹏谁解决方案,助力3,200+伙伴/用户迁移和开发、累计赋能100,000+鲲鹏开发者。
应用场景:
深信服超通过鲲鹏BoostKit的网络,存储和数据库应用加速,鯤鹏DevKit性能分析和编译优化,实现融合核心场景分布式存储性能与传统平台持平,达梦数据库高性能场景性能领先9%,高可靠场景领先11%。
3、鲲鹏研发体系
华为鲲鹏基于四次捕获理论,遵循产业规律进行研发技术创新。
- 一次捕获,10-20年前,思想创新机会论文、专利
- 二次捕获,6-10年前,技术创新机会专利、标准、技术
- 三次捕获,3-5年前,产品创新机会专利、原型、试验局
- 四次捕获,后10年,产品跟随机会产品、利润
华为鲲鹏研发目前已布局全球,努力为产业创新提供源动力,同时也积极加入了世界开源与标准组织。
目前鲲鹏已进行了产业全要求布局,向下扎到根。
鲲鹏4大软件根技术,包括OS、DB、编译器、加速库。
鲲鹏5大硬件根技术,包括算力、介质、IO与互联、硬件工程、安全可信。
鲲鹏智能世界八大展望:
- 食:用数据换产量、普惠绿色饮食
- 医:让健康可计算、让生命有质量、
- 行:智能低碳出行,开启移动第三空间
- 能源:绿色能源更智能,呵护蓝色星球
- 城市:城市新基建,让城市有温度,更宜居
- 住:新交互体验,让空间人性化
- 企业:新生产力重塑生产模式,增强企业任性
- 数字可信:数字技术与规则塑造可信未来
目前鲲鹏网站已累计资源学习50万+人次,实战演练16.4万+人次,考试认证9万+人次,相关数据持续增长中。
鲲鹏坚持开源开放,共享前沿创新成果,赋能百万级开发者。
目前依托四川鲲鹏与欧拉生态创新中心,现已辐射全国,并持续完善“鲲鹏+欧拉”生态产业建设,现已累计服务670+企业,在川孵化1100+鲲鹏联合解决方案,全栈解决方案200+款。
4、小结
目前鲲鹏计算已应用到了各行各业中,随着鲲鹏计算不断推广,相信在不久的将来,鲲鹏计算将会覆盖到更多行业中。创未来,享非凡,让我们一起期待更美好的鲲鹏。
本文参与华为云社区【内容共创】活动第25期。
任务15:创未来 享非凡 鲲鹏开发者创享日·成都站
- 点赞
- 收藏
- 关注作者
评论(0)