最强云硬盘来了,让AI模型迭代从1周缩短到1天

举报
技术火炬手 发表于 2020/08/29 10:22:24 2020/08/29
【摘要】 华为云擎天架构+ Flash-Native存储引擎+低时延CurreNET,数据存储和处理还有啥担心的?

        虽然我们已经进入大数据时代,但多数企业数据利用率只有10%,数据的价值没有得到充分释放。面对海量数据爆炸式的增长和发掘数据内在价值的巨大需求,拥有弹性伸缩、无限扩展能力的云存储正发展成为时代的智能数据底座。

        另一方面,随着人工智能(AI)、VR/AR、5G、自动驾驶等技术的发展,应用对云存储的实时处理能力提出了更高标准。对于支撑智能世界的数据平台而言,需要进入百微秒量级,才能满足实时性要求。

        最近,华为云发布了新款极速型SSD云硬盘,可以充分满足AI、AR/VR、数据库、大数据、HPC等高性能低时延业务场景需求。

        通过对架构和算法的创新,华为云打造了拥有四大硬核技术的华为云All-Flash智能数据底座,从容应对云、AI、5G时代数据存储的挑战。

All-Flash智能数据底座:100%存储卸载能力

华为云All-Flash智能数据底座

        首先,基于华为云擎天架构,华为云实现了100%的存储卸载能力和零损耗的存储虚拟化。基于RDMA的高速存储网络,能充分发挥NVME 存储集群的性能,搭配租户级QoS能力,可以为用户提供极速和稳定的云存储底座。

        新一代的Flash-Native存储引擎,采用了Append的数据布局、智能全局FTL、支持全局磨损均衡、智能垃圾数据回收等全新技术,大幅减少SSD写放大,使得SSD寿命提升5倍以上,可靠性达到了11个9。动态低时延Flex EC专利算法,保证数据写入路径最优,达成百μs级延迟。华为在软件和多核调度处理的丰富技术积累,解决了多核带来的锁开销,使得数据并发访问性能提升了100倍以上。

        下一代低时延CurreNET网络技术,支持免 PFC 的全云规模部署,原生支持虚拟化,同时支持标准 verbs 和 socket 接口,以及应用自定义的通信语义卸载。通过该技术,华为云达成了云存储单集群10万节点部署能力,单节点网络带宽达400Gb,P999长尾时延降低90%。

        另外,还需要强调的是华为云云存储的安全可信技术,通过专用硬件实现端到端全路径DIF,让云硬盘中的数据零差错,基于擎天卡实现数据全路径加密,并且支持BYOK客户自带秘钥加密,确保数据安全零泄漏。

这个SSD,让AI模型迭代从1周缩短到1天

华为云极速型SSD性能领先

        在性能表现方面,极速型SSD云硬盘相比当前热卖的超高IO产品性能提升3倍以上,而相比其他云厂商同类型产品依然保持着性能领先,其单盘带宽高33%,IOPS高28%。

        更好的性能必然能为更多创新应用带来成倍的效率提升,在AI训练场景方面,极速型SSD可以让华为小艺AI模型迭代周期从1周降低到1天;在AR场景下,华为河图通过极速型SSD实现了在毫秒级时间内达成厘米级定位和1度以内定姿,用户体验无比流畅。而在应用更广泛的MySQL数据库场景下,华为云极速型SSD更能带来平均3倍左右的性能提升。

        这款新一代的极速型SSD云硬盘将于8月30日正式商用。

        如果有更多云存储需求,不能错过华为云828企业上云节,选择和业务场景最匹配的云存储产品。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。