真Serverless+云原生,华为云三维建模服务上线,就问你慌不慌

举报
tsjsdbd 发表于 2022/09/02 20:06:54 2022/09/02
【摘要】 华为云三维建模服务,从底层架构带来了全新的技术路线,云原生2.0基础设施能力将在该领域展示出其特有的优势。将引领并推动整个领域基础架构升级,提供更有规模优势的高效实景三维建模平台。华为云将带领三维重建云平台的发展步入全新的阶段。

随着“实景三维中国”建设计划的推进,大规模、大范围、高精细的实景三维生产需求日益增长。而从技术角度看,以容器为代表的云原生技术蓬勃发展,成为领域创新的重要推动力。华为云作为云原生2.0开创者,已将云原生技术在金融、制造、互联网等多个行业得到广泛验证。本次将云原生2.0推进到遥感影像,三维重建基础设施中,也证明云原生是既有能力通过立而不破的方式继承生态能力,也可以成为加速整个行业基础架构发展的新动力,注定带领行业生态日渐繁荣,走入新篇章。

 

一、真Serverless

1. 不需要客户端

传统的三维重建系统,都需要用户先安装客户端软件,如ContextCapture等。这不仅繁琐痛苦,还对客户端硬件有一定要求,重建任务运行起来后也会一直占用客户端资源。华为云三维建模服务,则是完全云端操作的无客户端模式:任务投递、计算、查看与客户端无关。


用户大可在任务投递后先关机下班,回到家后,换一台电脑查看重建进度。

 

2. 永远最新版本

三维重建的技术迭代更新是非常快的,同样是点云匹配算法,三个月的改进是很明显的。然而传统的三维重建系统,都是一套软件用几年。集群管理软件、重建算法软件的版本升级,都需要中断作业,软件的重新安装,都困难重重。

华为云三维重建服务,采用全云化方式构建,用户不需要任何操作,使用的永远都是最新的版本。因为云端采用云原生技术,所以算法的更新,用户也不用感知。当算法更新时,用户新投递的重建任务,就会使用上最新的算法。

 

3. 云资源缩放自如

华为云作为国内Top级云厂商,在全球范围内已有27region中心,更有多个在建设中region中心未来会陆续投入使用。数据中心采用瑶光全域调度能力,以获得资源弹性能力。单重建集群可达2000节点的规模,并能以Virtual-Kubelet弹性模式,获得虚拟资源池资源。以如此底座构建出华为云三维重建服务,可以支持超大规模的三维重建任务的真Serverless能力。


 

二、云原生

作为中国容器软件市场No.1SourceIDC)的华为云,打造以应用为中心的云原生基础设施。通过“重定义基础设施、新赋能泛在应用、再升级应用架构”三大创新升级,为客户提供极致体验、极致成本的云原生基础设施。到2025年,基于云原生平台的数字化业务比例将提升至将95%Source:《Top Strategic Technology Trends for 2022, Gartner)。

 

1.    更大集群规模

传统三维重建集群,采用以“共享目录”为中心的任务分发架构,其集群规模受限于抢占锁并发度,只能到达数百级别。

 

华为云重建集群,采用云原生架构,使用分布式Raft协议来协同集群任务,集群规模可达2000节点。同时使用Virtual-Kubelet扩展虚拟资源池的模式,使得单集群规模再次翻倍。

 


2.    更高节点利用率

当前这种云原生集群架构,采用了统一Scheduler调度算法,可根据节点负载主动将合适的任务调度至指定的节点。允许一个节点同时运行N个小任务,来填满整个节点的资源。例如:一个32U64GPU节点,可以同时跑多个小CPU任务,外加1GPU任务。

而采用节点主动去抢任务的传统模式,很容易出现每个节点,在同一时刻,只能运行单一任务的情况。只有当节点把抢到的任务跑完后,才去主动抢下一个任务继续干活。

更细粒度的资源调度能力,可以获得更好的集群资源利用率。

 

3.    更好运维能力

云原生带来的运维能力提升,也是华为云三维重建平台带来的一大竞争力。

a)本地开发调测

云原生的一大优势就是,build oncerun anywhere。所以空三+重建算法,只要在本地开发环境跑通,就可以保证在生产环境是可以运行的,并且版本行为完全一致。这可以避免传统软件安装模式,会依赖环境中的底层软件版本不一致的问题。

b)在线调测能力

有时候,生产环境发生异常的时候,当定位信息不足时,开发者本地很难复现现网问题。因为本地开发的运行环境,以及挂载的存储目录都与现网不一样。华为云三维建模平台,提供了云原生的Web-terminal能力,允许现网在线调测,复杂问题可以快速复现定位。这样当新算法上线,或者新workflow发布时,都可以非常高效的达成。

c)节点软件管理

华为云三维建模平台,提供了统一的镜像仓库服务,可以按照算法不同的版本进行管理。且提供镜像安全扫描能力,帮助用户发现可能的安全漏洞。镜像与节点解耦,运行时将镜像下载后执行,这样节点的维护就非常简单。整个重建系统的迭代速度就非常的快,这是传统三维重建平台无法比拟的。

d)异常现场快照

很多空三/重建算方法,都是采用C++语言编写,大多是在做数学矩阵运算。当特定异常发生时,程序容易知己panic退出。这时,如果可以将异常现场的快照记录,则会非常方便后续算法的优化改进。华为云三维重建平台就提供了这个能力,会持久化算法程序的coredump文件,供后续分析跟踪。

4.  二三维一体的时空计算平台

之前也提到,云原生的一大好处就是:软件与节点解耦。即节点跑什么软件,不依赖节点本身。更直接一点说,节点可以执行任何Docker软件。这样一来,平台除了可以执行三维时空数据分析之外,还可以处理二维遥感影像数据,比如遥感影像的AI解译工作。

正因如此,华为云三维建模服务,是在华为云统一的时空计算平台上构建的。统一的平台,处理遥感影像处理,AI解译,三维重建,VR构建等二三维时空计算任务。这是传统三维重建集群无法具备的能力。

 

三、高效的三维重建

Serverless+云原生加持的基础上,华为云三维建模平台还增加了多种加速能力来提升整个重建效率。

 

1.    多级存储加速

    相对于传统的采用单NAS存储作为节点间共享方式,华为云采用OBS+SFS多级存储来完成三维重建计算过程。其好处是原始输入+构建成果都存放在价格较低的对象存储中,有利于长期归档使用。而中间整个计算过程则使用高性能的SFS作为工程路径,其整体计算依然高效。从而达到成本和效率的双优。

2.    并发计算加速

由于三维重建存在大量的并发计算,比如一个大区域,按照100*100米的划分成小瓦片,然后每个瓦片作为一个实例分别计算。这种情况下,每个瓦片的计算就可以分布式的并发进行。


3.    异构任务拆分加速

与此同时,CPUGPU任务细粒度拆分,也非常有助于并行度的提升。利用容器技术,使得同一个节点CPUGPU分别执行不同的计算任务,且相互隔离不影响,也有助于提升整个集群利用效率。

4.    镜像缓存加速

软件要在节点上运行,首先需要将软件下载至节点。华为云采用自主专利的镜像下载加速技术,确保高并发下能获得更快的下载速度。同时,镜像一旦下载到至节点,启动缓存机制,确保后续计算作业,相同任务的镜像不用再次下载。

四、总结

华为云三维建模服务,从底层架构带来了全新的技术路线,云原生2.0基础设施能力将在该领域展示出其特有的优势。一如云原生技术在基因分析、油气勘探、AI智能、互联网领域落地一样,将引领并推动整个领域基础架构升级,提供更有规模优势的高效实景三维建模平台。

华为云将带领三维重建云平台的发展步入全新的阶段。

 

 

附:

有兴趣的访问 https://www.huaweicloud.com/solution/swjm/index.html 进一步了解。

 

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。