【云驻共创】创未来、享非凡之鲲鹏产品分享

举报
y-wolfandy 发表于 2024/01/15 20:37:35 2024/01/15
【摘要】 鲲鹏计算产业是基于鲲鹏处理器的基础软硬件设施、行业应用及服务,涵盖从底层硬件、基础软件到上层行业应用的全产业链条。纵观鲲鹏计算产业生态全景,硬件方面,围绕鲲鹏处理器,涵盖包括昇腾AI芯片、智能网卡芯片、底板管理控制器(BMC)芯片、固态硬盘(SSD)、磁盘阵列卡(RAID卡)、主板等部件以及个人计算机、服务器、存储等整机产品。

1、关于鲲鹏


鲲鹏计算产业是基于鲲鹏处理器的基础软硬件设施、行业应用及服务,涵盖从底层硬件、基础软件到上层行业应用的全产业链条。纵观鲲鹏计算产业生态全景,硬件方面,围绕鲲鹏处理器,涵盖包括昇腾AI芯片、智能网卡芯片、底板管理控制器(BMC)芯片、固态硬盘(SSD)、磁盘阵列卡(RAID卡)、主板等部件以及个人计算机、服务器、存储等整机产品。基础软件方面,涵盖操作系统、虚拟化软件、数据库、中间件、存储软件、大数据平台、数据保护和云服务等基础软件及平台软件。行业应用方面,鲲鹏计算产业生态覆盖政府、金融、电信、能源、大企业等各大行行业应用,提供全面、完整、一体化的信息化解决方案。


华为提供全栈ICT产品,筑牢数字化底座,其中鲲鹏占有重要一席。


鲲鹏计算经过不断发展,目前涵盖的产品包括openEuleropenGauss、毕昇编译器、BoosKitDevKit


鲲鹏目前秉着全栈开放,使能极致性能、极简开发有宗旨为用户提供服务。

目前鲲鹏产品已应用于各行种业中,如政府、金融、运营商、电力、交通、制造。


2、鲲鹏产品介绍


鲲鹏产品主要包括openEuleropenGauss、毕昇编译器、鲲鹏BoostKit、鲲鹏DevKit

2.1     openEuler

鲲鹏openEuler通过11年发展,砥砺创新,从自用到开放开源,再到现在生态蓬勃发展。

鲲鹏openEuler2012年开始诞生,于2016年逐步在封闭场景商用,在2019年逐步在开放场景商用,2020年全面开源,2022年升级全场景支持、同时发布了全新欧拉系统,在2023年达到跨越生态拐点,比肩国际社区水平,同时预计新增市场份额超35%

openEuler是一款开源操作系统。当前openEuler内核源于Linux,支持鲲鹏及其他多种处理器,能够充分释放计算芯片的潜能,是由全球开源贡献者构建的高效、稳定、安全的开源操作系统,适用于数据库、大数据、云计算、人工智能等应用场景。同时,openEuler是一个面向全球的操作系统开源社区,通过社区合作,打造创新平台,构建支持多处理器架构、统一和开放的操作系统,推动软硬件应用生态繁荣发展。

openEuler愿景:全场景协同与覆盖,助力数字世界互联互通。


华为鲲鹏最新发布的openEuler 23.09 是基于6.4内核的创新版本,面向服务器、云、边缘计算和嵌入式场景,提供更多新特性和功能,给开发者和用户带来全新的体验,服务更多的领域和更多的用户。同时支持全场景能力持续增强,及全面升级的AI能力。


应用案例:

openEuler助力上交所打造了低时延OS解决方案,为上交所整体服务吞吐量提升了60%,端到端时延降低了20%


2.2     openGauss

openGauss是一款开源关系型数据库管理系统,采用木兰宽松许可证v2发行。openGauss内核深度融合华为在数据库领域多年的经验,结合企业级场景需求,持续构建竞争力特性。

2019919日在华为全联接大会上,华为宣布将开源其数据库产品,开源后命名为openGauss

2020630open Gauss数据库源代码正式开放。

2023525-26日,在openGauss开发者大会2023上,openGauss 5.0推出DataPod+DataKit组合和第三代智能优化器ABO,打造全新的数据底座;海量数据、云和恩墨、南大通用、沃趣科技正式发布首批基于openGauss发行版的数据库一体机产品;openGauss社区正式发布openGauss伙伴专业保障服务,首批8家优秀伙伴通过认证成为社区服务伙伴。

openGauss具有以下特点:

  • 高性能——两路鲲鹏性能150tpmC
  • 高可靠—— 故障切换时间RTO<10s
  • 高安全 —— 端到端全方位安全防护;
  • 易运维——基于AI的智能参数调优;

 

2023年,华为openGauss 5.0发布了DataPod+DataKit组合和第三代智能优化器ABO,打造全新的数据底座;以便适应最近较流行的大规模数据处理的需求。


应用案例:

中国邮储银行原有系统采用小型机、商业软件方式打造的基础设备为银行提供日常运营服务,随着业务不断发展,用户数量不断增加,全国网点数量不断扩张,原有传统服务器方式已无法满足日益增长的业务需求。

银行将底层平滑迁移至鲲鹏全栈系统后,使用鲲鹏开源开放、分布式系统架构,紧贴技术前沿,加速金融创新,迁移后柜面交易平均耗时减少了51%,全天联机平均耗时减少30%,系统负载峰值TPS提升319%,目前已能较好的满足了银行未来3-5年的发展扩张需求。


2.3     毕昇编译器

华为毕昇编译器基于开源LLVM开发,并进行了优化和改进,同时支持Fortran语言前端,是针对鲲鹏平台的高性能编译器。除LLVM通用功能和优化外,对中端及后端的关键技术点进行了深度优化,并集成AutoTuner特性支持编译器自动调优。

毕昇编译器单算力极致优化,多算力融合编译,释放硬件极致性能。

毕昇编译器发展历程:

  • 2018年毕昇JDK版本发布
  • 2020年毕昇编译器&ExaGear
  • 20239AI与毕昇编译相结合精准调优、提升效率
  • 预计20249月会推出毕昇融合编译器0,实现高效算力编译底座及AI融合


应用场景:

背景与挑战

  • 历史经验验证工作量巨大:Intel X86服务器替换IBM小型机时,为保证正确性和稳定性,投入整个团队进行了一年以上的优化。
  • 应用本身容易受到扰动影响:气象应用大部分是非常复杂的非线性系统,系统中任何处稍有差异,最终的结果在大量迭代之后误差会迅速累积。
  • 问题解决需求全栈技术能力:精度差异可能来源于整个HPC解决方案的各个环节,需要通过全找HPC组件的分析、开发能力来解决。

浙江气象局通过与华为合作,基于鲲鹏HPC建设大规模气象预报系统,通过毕昇编译器,提高了工作效率。

关键成果:

突破浮点精度调优技术,协同Hyper MPI,鯤鹏数学库等,实现业务核心应用精度100%-

基于鲲鹏全栈,结合气象应用典型特征,进行垂直全栈优化端到端性能提升10% +


2.4     鲲鹏BoostKit

鲲鹏应用使能套件BoostKit,基于硬件、基础软件和应用软件的全栈优化,提供高性能开源组件、基础加速软件包和应用加速软件包,使能应用极致性能。

鲲鹏BoostKit发展历程:

  • 2020年,发布场景化性能调优
  • 2021年,发布数据亲和加速
  • 2022年,发布数据亲和五大加速组件
  • 2023年,发布升级5大场景化能力

目前由于鲲鹏BoosKit使能开源,目前已有95%开源社区支持鲲鹏,240+服务的鲲鹏开发者数量、3600+社区下载量。鲲鹏BoosKit通过5年发展,已实现从开源使能到鲲鹏全栈竞争力使能蜕变,助力伙伴成功。


2.5     鲲鹏DevKit

鲲鹏DevKit提供涵盖代码迁移、开发调试、编译、测试、调优及诊断等各环节的开发使能工具,方便开发者快速开发出鲲鹏亲和的高性能软件。

鲲鹏DevKit通过5年持续锻造鲲鹏IDE,助力用户极速迁移、极简开发,现已支撑10,000+鲲鹏谁解决方案,助力3,200+伙伴/用户迁移和开发、累计赋能100,000+鲲鹏开发者。


应用场景:

深信服超通过鲲鹏BoostKit的网络,存储和数据库应用加速,鯤鹏DevKit性能分析和编译优化,实现融合核心场景分布式存储性能与传统平台持平,达梦数据库高性能场景性能领先9%,高可靠场景领先11%


3、鲲鹏研发体系


华为鲲鹏基于四次捕获理论,遵循产业规律进行研发技术创新。

  • 一次捕获,10-20年前,思想创新机会论文、专利
  • 二次捕获,6-10年前,技术创新机会专利、标准、技术
  • 三次捕获,3-5年前,产品创新机会专利、原型、试验局
  • 四次捕获,后10年,产品跟随机会产品、利润


华为鲲鹏研发目前已布局全球,努力为产业创新提供源动力,同时也积极加入了世界开源与标准组织。


目前鲲鹏已进行了产业全要求布局,向下扎到根。

鲲鹏4大软件根技术,包括OSDB、编译器、加速库。

鲲鹏5大硬件根技术,包括算力、介质、IO与互联、硬件工程、安全可信。


鲲鹏智能世界八大展望:

  • 食:用数据换产量、普惠绿色饮食
  • 医:让健康可计算、让生命有质量、
  • 行:智能低碳出行,开启移动第三空间
  • 能源:绿色能源更智能,呵护蓝色星球
  • 城市:城市新基建,让城市有温度,更宜居
  • 住:新交互体验,让空间人性化
  • 企业:新生产力重塑生产模式,增强企业任性
  • 数字可信:数字技术与规则塑造可信未来


目前鲲鹏网站已累计资源学习50+人次,实战演练16.4+人次,考试认证9+人次,相关数据持续增长中。

鲲鹏坚持开源开放,共享前沿创新成果,赋能百万级开发者。


目前依托四川鲲鹏与欧拉生态创新中心,现已辐射全国,并持续完善“鲲鹏+欧拉”生态产业建设,现已累计服务670+企业,在川孵化1100+鲲鹏联合解决方案,全栈解决方案200+款。


4、小结


目前鲲鹏计算已应用到了各行各业中,随着鲲鹏计算不断推广,相信在不久的将来,鲲鹏计算将会覆盖到更多行业中。创未来,享非凡,让我们一起期待更美好的鲲鹏。


本文参与华为云社区【内容共创】活动第25

任务15创未来 享非凡 鲲鹏开发者创享日·成都站

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。