给你拍摄不同角度的几张照片，就能获得一个3D建模的真实的“你”，观看电影也不再是坐在台下的单一体验，而变成“走进”电影营造的空间之内，这就是AI空间计算的魔力。当它进入到视听影像领域，人们体验故事的方式将发生翻天覆地的变化。

摘得今年华为开发者大赛金奖的天图万境团队，正在用这种“魔法”创造AI感知视听技术，讲述虚实融合的空间叙事。

用图像还原深度空间，让虚实融合“天衣无缝”

“大部分人还在处理以前的旧东西，努力让它变得更好，就像在修一架马车让马车跑得更快，而我们试图在制造一架飞机。”天图万境的创始人图拉古如是形容他们的感知视听技术，相较于传统的视听制作技术，它所产生的内容是“空间”而非“荧幕”的，通过空间播放器让用户回到空间里，带来真正的沉浸式视听感受，这是空间计算的典型场景。

这个概念听起来有些匪夷所思，如何把空间带回到空间呢？故事还得从图拉古的“两重身份”说起，图拉古从小学起就开始玩电路芯片，他家边上有一个摩托车修理厂，有各种各样的电路板，他捡回来焊接，做成各种各样的造型。另一方面，他也是一名导演，执导拍摄过多部影视剧集，有着丰富的影视制作经验。

当技术和艺术碰撞，便创造出了无限可能性。

一个虚拟与现实交互的场景，需要在虚拟世界中，构建出与现实世界相对应的位置和深度关系，并通过视听影像呈现。但目前基于单目的、实时处理的图像流的空间计算，在国内外尚属探索阶段。

当时间线拉回到2022年的那个冬天，天图万境却正式对外发布了空间计算框架，随后又推出了空间计算产品和软件。

图为 2023年06月1日图拉古在中国科幻大会发布空间计算技术

天图万境研究的感知视听空间计算和图像处理技术，在人工智能技术的加持下，用图像还原深度空间，代替激光雷达和多目视差的传统方式，完全模拟人类在视觉上对空间位置、深度的准确认知，在成本、速度、准确性上都高于普通的激光雷达和视差算法。

“基于图像流的空间还原，将会为整个空间还原方案带来智能化处理的新方式，它既可以表达更远的距离，也可以准确地还原反射玻璃等特殊材质，这样的算法不仅依赖的主机体积小，还易于部署，是未来最佳的空间感知方案。”图拉古介绍道，为了让虚拟与现实世界融合下的视觉呈现达到更加真实的效果，他们围绕AI图像分割、AI阴影投射、AI光场还原、AI色彩融合、AI材质识别等8大技术领域开发了10大引擎。

“AI的介入，让虚实融合达到了前所未有的高度。人物的抠像、图像的光影材质、投影等等都可以准确的渲染表现出来。在此基础上，当我们将现实中的图像融合到虚拟世界中，整个场景都是天衣无缝的。”

在云上感受贴心技术支持

基于感知视听技术，天图万境打造了全球首个基于AI的感知虚拟制作平台，从创作、制作到交付系统，涵盖10多项软硬件。在这套系统里，导演、编剧通过AI能力可以完成剧本创作、角色画像、剧本分析、分境设计等工作；再通过虚拟感知拍摄平台将拍摄的视频流传到云上工作站进行AI实时渲染，由云工作站集群通过不同引擎完成视频流的多层次处理。

项目初期，天图万境并不擅长云端数据的运行和调用，对CDN（内容分发网络）大量视频分发的机制也不是很清晰，图拉古介绍，2021年，华为云开始为感知视听技术在云端的使用部署和数据分发提供了扎实的技术支持。

“我们做了很多像游戏一样的空间视听作品，但不是 VR，这些作品让人们可以沉浸参与其中，成为角色。用了华为的服务器以后，就可以把这些东西通过服务器分发到华为的CDN上，快速让全国成千上万的用户同时访问到最先进最好的内容。”

同时，天图万境的硬件设备上也搭载了华为的嵌入式鸿蒙操作系统，他们还借助华为云云桌面来提升团队的远程协作效率，“我们有些同事在广州，有些在北京其他区域的，大家就通过云桌面进行协作，迅速对同一个事情对齐认知。”

图拉古表示，使用了华为云的云上解决方案后，“在云端我们的算力扩容变得弹性伸缩自如，操作起来非常简单，多个团队之间的协作也有了巨大的提升，为我们小企业带来了巨大的利润提升。”

图拉古举了个例子，当时他们在为中国科幻大会做开幕式短片，如果按照传统流程需要两到三个月的工作时间，但有了华为云的云端加持赋能，再加上他们的感知视听技术，一周的时间就圆满完成任务，并在科幻大会上顺利展播。

谈及与华为云的合作，图拉古感觉很贴心，“华为云的技术人员几乎是全天候在线回应我们的技术求助，帮助我们申请了各种云资源补贴，让我们以最小的成本启动项目开发。当遇到一些解决不了的技术问题时，专家们甚至会来到项目现场协助，这一点很令人安心，我觉得这也是对我们小企业最好的保障。”

在2023华为开发者大赛全球总决赛中国赛区的企业赛道，“天图万境”获得了唯一的金奖，对于图拉古来说，这也是一份沉甸甸的认可：“在国内大部分大赛里，人们更多是看市场占有率，以及企业的流水和利润。AI图像计算的奇点还未到来，我们这样的前沿创新企业在这方面的竞争中并不占优势。在华为的开发者大赛的赛道上我们深刻感受到了华为对前沿技术的认知，对未来创新的判断和理解，这对我们来说是莫大的鼓励。”

让每个人都可以自由地完成虚实创作

在苏州的橙天嘉禾剧场，正在上映着全国首部360全景感官沉浸式影秀剧《信仰》，快速闪退的街景、惊险刺激的追车，演员们在“飞驰”的汽车上格斗……画面视角不断变化，境头在高速运动的场景中切换，观众从舞台剧中体会到了强烈的紧张感。这背后便是天图万境的AI感知视听技术，给观众形成了视觉“欺骗”，让他们得以跟随宏大、变幻的场景，完全沉浸在创作团队构建的故事中。

除此之外，天图万境正在将他们的视听感知技术应用在诸如亚运会、湖南卫视跨年晚会、河南卫视春晚、《三体》综艺等节目中，为电影电视流媒体、线下沉浸式互动、演出以及工业与仿真等领域带来全新的虚实融合体验。

在以往的项目制作中，天图万境积累大量的蓝绿幕数据集、空间深度数据集、图像分割数据集，为此他们计划和华为云盘古大模型共同打造面向影视工业化的专用大模型，“我们希望基于盘古大模型的底层技术能力，加上我们的数据和算法，为电影行业带来全面大模型生态，让创作者由操作化转向智能化，由人力化转向自动化。”

图拉古表示，天图万境已经联合华为云共同推出超感影游的云上制作生态计划，“在整个云端工业链条中，我们使用华为云的存储、云端渲染、云端计算、云端视频分发技术等等功能，来为全球各地的用户提供制作加速和协作。通过人工智能技术的加持，让所有的视听制作都变得智能，让每一个创作者在任何一个地方都可以轻松自如的创作，构成一个新的创作生态。”图拉古补充道“我们不想让大家误以为我们只能做电影，所有跟视听有关的、叙事有关的，都在我们的技术涵盖范围之内。”

最后

不论是国际还是国内，真正通过AI来做视听效果的团队少之又少，这不仅需要跨学科的人才，更需要对行业深刻的理解。在与华为云的合作中，坚定了图拉古对于他们所创想的未来的信心，“我们会努力并且持续的在这条路上走下去，一直走到创新的鲜花开遍每一座山头。也许大家还看不懂我们在做什么，但是如果有人愿意俯下身来听一听，他就会明白，我们这些年轻人，正在开创下一个新的空间叙事时代。”