真Serverless+云原生,华为云三维建模服务上线,就问你慌不慌
随着“实景三维中国”建设计划的推进,大规模、大范围、高精细的实景三维生产需求日益增长。而从技术角度看,以容器为代表的云原生技术蓬勃发展,成为领域创新的重要推动力。华为云作为云原生2.0开创者,已将云原生技术在金融、制造、互联网等多个行业得到广泛验证。本次将云原生2.0推进到遥感影像,三维重建基础设施中,也证明云原生是既有能力通过立而不破的方式继承生态能力,也可以成为加速整个行业基础架构发展的新动力,注定带领行业生态日渐繁荣,走入新篇章。
一、真Serverless
1. 不需要客户端
传统的三维重建系统,都需要用户先安装客户端软件,如ContextCapture等。这不仅繁琐痛苦,还对客户端硬件有一定要求,重建任务运行起来后也会一直占用客户端资源。华为云三维建模服务,则是完全云端操作的无客户端模式:任务投递、计算、查看与客户端无关。
用户大可在任务投递后先关机下班,回到家后,换一台电脑查看重建进度。
2. 永远最新版本
三维重建的技术迭代更新是非常快的,同样是点云匹配算法,三个月的改进是很明显的。然而传统的三维重建系统,都是一套软件用几年。集群管理软件、重建算法软件的版本升级,都需要中断作业,软件的重新安装,都困难重重。
华为云三维重建服务,采用全云化方式构建,用户不需要任何操作,使用的永远都是最新的版本。因为云端采用云原生技术,所以算法的更新,用户也不用感知。当算法更新时,用户新投递的重建任务,就会使用上最新的算法。
3. 云资源缩放自如
华为云作为国内Top级云厂商,在全球范围内已有27个region中心,更有多个在建设中region中心未来会陆续投入使用。数据中心采用瑶光全域调度能力,以获得资源弹性能力。单重建集群可达2000节点的规模,并能以Virtual-Kubelet弹性模式,获得虚拟资源池资源。以如此底座构建出华为云三维重建服务,可以支持超大规模的三维重建任务的真Serverless能力。
二、云原生
作为中国容器软件市场No.1(Source:IDC)的华为云,打造以应用为中心的云原生基础设施。通过“重定义基础设施、新赋能泛在应用、再升级应用架构”三大创新升级,为客户提供极致体验、极致成本的云原生基础设施。到2025年,基于云原生平台的数字化业务比例将提升至将95%(Source:《Top Strategic Technology Trends for 2022》, Gartner)。
1. 更大集群规模
传统三维重建集群,采用以“共享目录”为中心的任务分发架构,其集群规模受限于抢占锁并发度,只能到达数百级别。
华为云重建集群,采用云原生架构,使用分布式Raft协议来协同集群任务,集群规模可达2000节点。同时使用Virtual-Kubelet扩展虚拟资源池的模式,使得单集群规模再次翻倍。
2. 更高节点利用率
当前这种云原生集群架构,采用了统一Scheduler调度算法,可根据节点负载主动将合适的任务调度至指定的节点。允许一个节点同时运行N个小任务,来填满整个节点的资源。例如:一个32U64的GPU节点,可以同时跑多个小CPU任务,外加1个GPU任务。
而采用节点主动去抢任务的传统模式,很容易出现每个节点,在同一时刻,只能运行单一任务的情况。只有当节点把抢到的任务跑完后,才去主动抢下一个任务继续干活。
更细粒度的资源调度能力,可以获得更好的集群资源利用率。
3. 更好运维能力
云原生带来的运维能力提升,也是华为云三维重建平台带来的一大竞争力。
a)本地开发调测
云原生的一大优势就是,build once,run anywhere。所以空三+重建算法,只要在本地开发环境跑通,就可以保证在生产环境是可以运行的,并且版本行为完全一致。这可以避免传统软件安装模式,会依赖环境中的底层软件版本不一致的问题。
b)在线调测能力
有时候,生产环境发生异常的时候,当定位信息不足时,开发者本地很难复现现网问题。因为本地开发的运行环境,以及挂载的存储目录都与现网不一样。华为云三维建模平台,提供了云原生的Web-terminal能力,允许现网在线调测,复杂问题可以快速复现定位。这样当新算法上线,或者新workflow发布时,都可以非常高效的达成。
c)节点软件管理
华为云三维建模平台,提供了统一的镜像仓库服务,可以按照算法不同的版本进行管理。且提供镜像安全扫描能力,帮助用户发现可能的安全漏洞。镜像与节点解耦,运行时将镜像下载后执行,这样节点的维护就非常简单。整个重建系统的迭代速度就非常的快,这是传统三维重建平台无法比拟的。
d)异常现场快照
很多空三/重建算方法,都是采用C++语言编写,大多是在做数学矩阵运算。当特定异常发生时,程序容易知己panic退出。这时,如果可以将异常现场的快照记录,则会非常方便后续算法的优化改进。华为云三维重建平台就提供了这个能力,会持久化算法程序的coredump文件,供后续分析跟踪。
4. 二三维一体的时空计算平台
之前也提到,云原生的一大好处就是:软件与节点解耦。即节点跑什么软件,不依赖节点本身。更直接一点说,节点可以执行任何Docker软件。这样一来,平台除了可以执行三维时空数据分析之外,还可以处理二维遥感影像数据,比如遥感影像的AI解译工作。
正因如此,华为云三维建模服务,是在华为云统一的时空计算平台上构建的。统一的平台,处理遥感影像处理,AI解译,三维重建,VR构建等二三维时空计算任务。这是传统三维重建集群无法具备的能力。
三、高效的三维重建
在Serverless+云原生加持的基础上,华为云三维建模平台还增加了多种加速能力来提升整个重建效率。
1. 多级存储加速
相对于传统的采用单NAS存储作为节点间共享方式,华为云采用OBS+SFS多级存储来完成三维重建计算过程。其好处是原始输入+构建成果都存放在价格较低的对象存储中,有利于长期归档使用。而中间整个计算过程则使用高性能的SFS作为工程路径,其整体计算依然高效。从而达到成本和效率的双优。
2. 并发计算加速
由于三维重建存在大量的并发计算,比如一个大区域,按照100米*100米的划分成小瓦片,然后每个瓦片作为一个实例分别计算。这种情况下,每个瓦片的计算就可以分布式的并发进行。
3. 异构任务拆分加速
与此同时,CPU和GPU任务细粒度拆分,也非常有助于并行度的提升。利用容器技术,使得同一个节点CPU和GPU分别执行不同的计算任务,且相互隔离不影响,也有助于提升整个集群利用效率。
4. 镜像缓存加速
软件要在节点上运行,首先需要将软件下载至节点。华为云采用自主专利的镜像下载加速技术,确保高并发下能获得更快的下载速度。同时,镜像一旦下载到至节点,启动缓存机制,确保后续计算作业,相同任务的镜像不用再次下载。
四、总结
华为云三维建模服务,从底层架构带来了全新的技术路线,云原生2.0基础设施能力将在该领域展示出其特有的优势。一如云原生技术在基因分析、油气勘探、AI智能、互联网领域落地一样,将引领并推动整个领域基础架构升级,提供更有规模优势的高效实景三维建模平台。
华为云将带领三维重建云平台的发展步入全新的阶段。
附:
有兴趣的访问 https://www.huaweicloud.com/solution/swjm/index.html 进一步了解。
- 点赞
- 收藏
- 关注作者
评论(0)