【云驻共创】揭秘元宇宙背后最炫科技风:数字经济时代,元宇宙发展解决方案及核心技术
文章目录
- 前言
- 一、关于“元宇宙”业界趋势
- 1.1、元宇宙的概念与发展历程
- 1.2、行业应用体验向虚实融合和实时互动演进
- 1.3、数字内容成为各行业 3D 数字世界入口
- 二、对于元宇宙发展的解决方案和实践
- 2.1、MetaStudio 构建场景化全栈能力
- 2.2、企业 3D 空间,围绕 4 类场景打造 3D 空间
- 2.3、文旅空间:突破传统游览模式
- 2.4、展厅空间:营销新体验,数字商品全方位展示
- 2.5、数字人 IP 打造营销新体验
- 三、元宇宙应用核心技术
- 3.1、数字人内容生产基于的内容生产技术
- 3.2、智能视觉驱动技术:开启直播流量新蓝海
- 3.3、智能语音驱动技术,助力虚拟视频制作
- 3.4、云渲染:全新架构创新,加速行业应用上云
- 3.5、3D 媒体实时传输:提供极致高清视觉体验
- 3.6、多人同服:支持企业 3D 空间万人同服
- 总结
前言
一、关于“元宇宙”业界趋势
1.1、元宇宙的概念与发展历程
元宇宙概念最早出现于小说和影视作品中,逐步映射到现实世界。人类自诞生以来就有各种超现实幻想:神话、玄幻、魔幻、科幻等,在不同的历史时期具有不同的承载媒体。
远古时期 | 农业文明 | 工业文明 | 数字文明 | 人机融生 | |
---|---|---|---|---|---|
媒体 | 传说、壁画 | 文字 | 影视 | 游戏、VR等 | 脑机 |
体验 | 第三视角,无互动 | 第三视角,无互动 | 第一视角,可互动 | 第一视角,可互动 |
元宇宙的发展从 1981 年的小说世界映射到如今微软以 687 亿美元收购动视暴雪走过的历程,具体如下图所示:
1.2、行业应用体验向虚实融合和实时互动演进
如今,元宇宙的发展进入到各行各业,整个元宇宙的应用在向虚实融合、实时互动方向演进,具体如下图所示:
- 会议场景,是大家接触最多的办公场景,从线上会议演变为跨地域的互动实情会议,以及到虚拟空间里召开会议。
- 直播场景,在 2020-2021 年传统直播非常火热,如“刘根宏女孩”,直播也逐步在向超低时延直播和虚拟互动直播演进。
- 展厅场景,疫情期间,展厅逐步通过互联网及 3D 虚拟互动展厅演进。
- 医疗场景,逐步从 VR 场景到培训场景。
- 电商场景,从在线购物到虚拟互动卖场,虚拟直播已经逐渐在替代大量的真人实时直播,可以实现 24 小时的不间断直播。
- 社交场景 ,从线下社交到虚拟 3D 空间里做互动社交。
1.3、数字内容成为各行业 3D 数字世界入口
- IP 型数字人 + 虚拟制作。数字人与虚拟制作结合,可以实现虚拟偶像、虚拟综艺做品牌代言,打造 IP 形象,现在电影中也可以看到电影票房前十 CG 制作占比超 90%,如《阿凡达 2 水之道》。数字人也应用到了各个演唱会,如在 2023 年跨年演唱会,有超过十家电视台都启用了数字人做相应的直播。同时,数字代言人进入了新的潮流,大量的企业 IP 形象成功出圈。
- 功能服务型数字人 + 虚拟制作。 功能服务型数字人结合直播也有广泛的应用,华为每年的普通企业直播有 300+ 场,大型的直播有 50+ 场,在其中应用到了数字人融入其中,虚实结合,通过真人和数字人结合的方式,让发布会、直播更加炫目。
- 虚拟分身数字人 + 3D 空间。结合企业 3D 空间,元宇宙让虚离分身数字人进入到虚幻世界,应用到千行百业,品牌营销如 Gucci、沃尔沃等,这些企业做虚拟展会,接待了超过两千万流量。
二、对于元宇宙发展的解决方案和实践
2.1、MetaStudio 构建场景化全栈能力
结合到以上元宇宙的发展趋势,华为云提供了非常完整的解决方案,Metastudio 联合生态伙伴,打造了场景化的 3D 数字内容生产和应用开发全栈能力,有数字人、虚拟直播、虚实融合和企业 3D 空间四大生产线。
- 数字人:提供卡通、美型、写实等等数字人模型的制作以及视频制作能力。
- 虚拟直播:面向多种场景,提供虚拟直播(采集、数字人驱动渲染、分发等)一站式轻量级解决方案。
- 虚实融合:真人虚景、虚人真景、虚人虚景多场景视频拍摄能力。
- 企业 3D 空间:帮忙客户构建 3D 空间辅助生产或者进行企业业务宣传。
在核心业务层提供建模、资产管理、编辑、渲染四大能力。
- 建模:提升 3D 建模效率。
- 资产管理:聚合行业 3D 数字资产。
- 编辑:基于云工作站打造内容云上制作和编辑入口。
- 渲染:云原生的、实时的、端云协同渲染。
2.2、企业 3D 空间,围绕 4 类场景打造 3D 空间
在企业 3D 空间,聚合媒体服务全栈能力,围绕文旅空间、展厅空间、零售空间、地产空间 4 类场景打造 3D 空间,具体如下图所示:
其中包括数字人、直播点播、传输、图形引擎、RTC 实时互动服务一系列能力,文博场景现在在各个领域有大量应用,与亚太文融联合发布了文博跑酷的游戏。同时华为云也打造了自己的线上展厅,在零售虚拟空间中实现卖货、带货,以及新品发布、品牌展示等。在地产行业实现沉浸式看房、数字沙盘等。其中关键技术,包括低码化、无码化的 3D 空间的构造,高精度,智能交互数字人,千人同服,低时延互动,低成本,高清实时渲染等相关的一系列能力。
2.3、文旅空间:突破传统游览模式
政策导向:传承弘扬中华优秀传统文化。深入实施中华优秀传统文化传承发展工程,强化重要文化和自然遗产、非物质文化遗产系统性保护,推动中华优秀传统文化创造性转化、创新性发展。针对于虚拟化文博空间和复刻文旅空间实现“对症下药”。
对于虚拟化文博空间:
- 病:讲好文物故事,通过游戏化流量变现,实现广告变现和电商变现。
- 药:通过不同游戏和互动剧情,加深对文物所蕴含的历史文化内涵理解,通过数字藏品、消费代金券、实物文创等游戏奖品,推动线上娱乐与线下商业消费。
对于复刻文旅空间:
- 病:新兴热门景点还未完全建成的情况提前开启宣传,刺激 C 游玩和 B 端招商。
- 药:1:1 还原的数字孪生空间,超精细还原街道、建筑、商铺等,使用云渲染方式,支持用户秒级打开高品质、可互动的 3D 空间。
2.4、展厅空间:营销新体验,数字商品全方位展示
如下对应案例,用户可以现在在空间中切换相应场景,并与导览员进行沟通,其中还结合了一些非常有趣的游戏,进行线上线下的结合。
以营销服务场景为核心全面升级,新增多点、多维度的展示、交互、共享、传播及可控的线上展示和沟通能力。商品展示高还原度 90%,数字资产高精度 ±0.02MM,内部结构拆解,工艺可见,消费放心。针对于虚拟展厅空间和写实展厅空间实现“对症下药”。
对于虚拟展厅空间:
- 病:解决用户无法实地参观展厅,部分行业场景解决方案展现形式枯燥。
- 药:通过提供数字人讲解,支持可配置屏幕内容,开发布会,可传送各个场景,通过云渲染支持用户秒级打开企业 3D 空间。
对于写实展厅空间:
- 病:解决用户本身有丰富展览资源,用户无法实地参观展厅。
- 药:1:1 还原的数字孪生空间,并且通过提供数字人讲解,支持可配置屏幕内容,通过云渲染支持用户秒级打开企业 3D 空间。
2.5、数字人 IP 打造营销新体验
数字人 IP 打造 3D 营销员元宇宙空间,在线上连接用户、品牌商、加盟商,典型应用案例,如同东莞台铃电动车联合打造虚拟偶像——爱铃/AI-LING 数字人 IP 形象,结合企业文化,让数字人成为一个形象代言,成为新数字 IP,具体如下图所示:
应用背景:
- 流量明星受合作期限限制。
- 单次合作无法长期累积品牌资产。
解决方案:
- 基于华为的数字人生产线帮忙客户生成数字人模型。
- 基于数字人模型再结合机车制作宣传海报及宣传视频。
客户收益:
- 通过引入自创虚拟偶像,拥有对虚拟偶像的高度掌控权,保证与品牌的高度结合性。
- 虚拟偶像长期运营,可称为品牌资产的一部分。
三、元宇宙应用核心技术
3.1、数字人内容生产基于的内容生产技术
数字人内容生产基于自动化建模和 AIGC 两代数字内容生产技术。在虚拟空间中需要有虚拟人形象,数字人内容生产是一个非常基础、重要的能力,平台提供了一个底层的生产协作平台——云桌面,可以使创作者从单人桌面转换到多人协同工作,基于云桌面超高清共享,实现 4K 60 帧高精度内容创作。
协作平台提供数字人生产线,结合 AI 技术提升生产效率,自动化建模,通过面部 276 个特征点识别自动绑定,使数字人生产时间缩短 80%,自动化建模后,自动化捏脸结合 AI,直接跳过低、中、高建模过程,直接生成数字人,通过视觉和语音驱动,将数字人形象在虚拟直播场景结合,最后生成相应的视频制作内容。
3.2、智能视觉驱动技术:开启直播流量新蓝海
数字人里最核心技术——智能视觉驱动,如何让数字人像真人一样,除了外表美丽,也有非常有趣的动作呢?
在虚拟直播场景中,预置多直播平台连接,连接字节、虎牙、保利威等主流平台,一键开启数字人直播。通过底层视觉驱动技术,利用单目摄像头,即普通 RGB 摄像头驱动数字人,无需专业动捕面部设备,其中在动作识别精准度和动作流畅度方面都做了大量优化。在驱动上,不仅是简单骨骼的限制,也结合到动力学原理和 AI,同时结合了音视频编解码技术,通过低时延传输,让整个动作非常流畅。
3.3、智能语音驱动技术,助力虚拟视频制作
内容生成更加简单,只输入简单几行文字,就可以通过 AI 语音驱动让数字人去相应播报,支持各语种播报,准确度非常高。数字人在语音驱动过程中与视频驱动类似,通过连续差帧技术,实现口型、表情变化平滑过渡,使表情效果 MOS 分达四点多,远超业界。
3.4、云渲染:全新架构创新,加速行业应用上云
云渲染是非常关键的技术,基于云原生自研图形引擎,可以做到时空复用、以存代算,让整个 3D 空间元宇宙在云上渲染出影视级画质,多 GPU 间的实时调度,实现 10 亿级面片渲染,可以做到 8K 60 帧实时渲染。
同时结合多视角共享渲染计算,时空复用实现多用户计算成本增长,整个性能提升十倍,通过端云协同渲染,借助云上算力,大幅降低端测渲染功耗,同时也使得运行带宽大幅降低。AI 离线渲染加速使图片以及视频渲染相比传统渲染能够加速四倍。
3.5、3D 媒体实时传输:提供极致高清视觉体验
在 3D 空间中,除渲染提供影视级效果,也要把渲染出来的内容触达到用户侧,这涉及到媒体实时传输技术。通过自研 3D 实时传输协议支撑高清画质,可以达到 4K 60 帧画质。在传输过程中存在的弱网情况,如网络切换过程中、在进入电梯环境中,能够保证高清画质体验,涉及到 3D 编解码及传输技术,使得在传输过程中既能自适应网络的变化也能实现低时延传输的效果。
3.6、多人同服:支持企业 3D 空间万人同服
在面向发布会等场景,要求在一个空间中需要做到千人甚至万人互动,需要非常大的多人同服技术能力,需要分布式消息引擎支撑上一级信息数据发送及同步,才能让虚拟人在空间中互动起来,流畅体验元宇宙的魅力。
总结
本文参与华为云社区【内容共创】活动第24期。
任务5:HDC.Cloud2023开发者社区活动系列直播-元宇宙专场:揭秘元宇宙背后的最炫科技风
- 点赞
- 收藏
- 关注作者
评论(0)