【云驻共创】MetaStudio数字内容生产线,快速打造数字人和企业3D空间
1、前言
随着AI时代的到来,AIGC正引领数字领域时代变革,如何助力企业在千行百业快速进行数字化转型,为企业带来效率的提升,是我们一直面临的课题。今天会议内容主要围绕MetaStudio数字内容生产线快速打造数字人和企业3D空间进行内容分享的交流。
数字内容生产线(MetaStudio),依托图形引擎和空间引擎两大媒体引擎,提供3D模型制作(Creator)、资产管理(Store)、内容编辑(Editor)、物理仿真(Simulation)、云渲染(Rendering)5大平台能力,帮助伙伴和开发者快速构建高质量模型,用于虚拟直播、虚拟视频内容制作等适用于教育课件、电商带货、社交文娱等场景。
2、华为云MetaStudio
2.1、现状
目前AIGC正引领数字领域内容变革,数字内容生产进入智能化新阶段。数字化正逐步从PGC到UGC再发展到AIGC。以传统电影为例,最初PGC主要依靠专业设计师进行设计,即人+算力强度生成,后来发展成UGC后,可以由普通用户通过制作工具生成,即人+知识广度生成,现在发展成由AIGC生成,即通过AI+模型尝试生成电影相关内容。
2.2、自动化、智能化生产成为数字人新趋势
随着数字人技术不断迭代更新,自动化和智能化生产将成为新趋势。
按照传统数字人生产主要包括低模、高模、材质、绑定、专业动捕、渲染等过程。而通过自动数字人生产通过自动化建模、自动化捏脸、视觉、布料仿真、渲染加速等过程,通过自动数字人生产,可将IP型数字人生产时间由人工数字人生产的大于1个月时间,缩短至1周;通过智能化生产,可将服务型数字人生产时间由实景拍摄视频所需1周时间,缩短至10分钟。
2.3、华为云MetaStudio新功能
华为云媒体基础设施,赋能伙伴和开发者实现智能化生产。云原生媒体基础设施包括云计算、AI、计算机图形、区块链等技术,主要内容和应用包括3D应用和3D内容,其中内容从2D到3D,内容生产PG/UGC走向AIGC,媒体由视频到互动媒体。同时在端侧提供了数字人入口,包括手机、PC、大屏、裸眼3D、全息等终端。
同时华为也打造虚实融合、云端协同的媒体基础设施,使能行业客户进入数字原生时代。
华为云MetaStudio媒体服务主要包括远程协作平台(模型制作、内容编辑、资产管理、物理仿真、云渲染)、盘古数字人大模型(数字人模型生成服务、数字人模型驱动服务)、实时互动空间(空间定位、数字人大脑、多用户接入、多用户交互)。
数字人生产平台:
- 行业场景:代言IP、元宇宙、虚拟主播、金融客服
- 关键能力:基于盘古大模型构建盘古数字人通用大模型和用户个性化模型,实现数字人模型生成和数字人表情、口型、肢体的精准驱动。
企业3D空间:
- 行业场景:文旅/零售元宇宙、企业3D展厅等
- 关键能力:
- 低代码开发平台
- 万人同服,分布式消息引擎,实现每秒亿级消息交互
- 超大场景实时渲染,以存带算,时空复用
为满足不同业务发展需要,华为MetaStudio提供了丰富的云上开发调用接口,赋能开发者构建云上生产线。
- IP型3D数字人接口:包括照片建模、语音驱动、视频驱动、实时语音驱动、体积视频
- 分身数字人接口:包括分身数字人形象训练、分身数字人视频制作、分身数字人直播、声音模型训练、文图分身数字人
- 资产管理接口:包括数字资产管理
- 数字人视频交互接口:包括视频交互、个性化知识大模型
华为IP型数字人能提供全流程高品质、高效率云上数字人制作。主要通过提取数字人的特性,进行自动化建模、视频语音驱动、数字人仿真、实时离线渲染等操作进行IP型数字人操作。
华为IP型数字人具备优势如下:
- 形象稳定:能叠加各种艺术和技术、稳定的公众形象、强大的可控性
- 响应快速:技术驱动、快速响应市场变化、不受个人时间和空间限制
- 产品丰富:按需快速产出品牌内容,更易操作、安全受控。
华为服务型数字人,赋能企业面向用户提供数字人播报、客服类服务。主要操作过程包括分身模型、分身驱动、播报视频生成。相比传统播报方式,数字人方式具有无需拍摄、无需录制、无需后期等特点,制作方便快捷。
华为服务型数字人主要依赖于盘古大模型赋能数字人模型生成、模型驱动两大服务。华为云盘古大模型拥有PB级音视频数据训练能力,其中数字人通用大模型包括数字人形象、数字人动作、数字人表情、数字人口型、数字人声音,数字人个性化大模型包括个性化动作、个性化表情、个性化口型、个性化声音。通过文字、图片、视频经过数字人模型会生成相应的形象、声音、表情、口型、肢体、语义、情绪等数字人信息,主要应用场景包括数字人直播、数字人播报、数字人会议、数字人客服、数字人教师。
华为云MetaStudio目前可分别通过文字、图片、视频生成数字人,且在业内具有较高优势。其中文字生成数字人业界需要30秒,而华为云MetaStudio仅需10秒;图片生成数字人业界需要时间大于60秒,而华为云MetaStudio仅需30秒;视频生成数字人业界需要时间12小时,而华为云MetaStudio仅需1小时;
而数字人通过远程通信协作方式也越来越普及。在远程通信协作场景下,可通过真人实时驱动数字人,通过人脸特征追踪、身体姿态估计、声音特征提取等操作后,分别生成人脸特征向量、身体特征向量、声音特征向量,最终生成实时驱动数字人,在整个过程中无需传输视频流,仅需传输特征向量信息,带宽降低1000倍。
华为云MetaStudio企业3D空间,聚合媒体服务全栈能力,围绕4类场景打造3D空间。目前4类行业空间主要包括文旅空间(咨询规划专业服务)、展厅空间(模型制作专业服务)、零售空间(3D应用开发使能)、地产空间(SparkRTC实时互动服务)。
华为云MetaStudio实时光追渲染,通过全栈架构创新、以存代算、端云协同技术加速行业应用上云。
在时空复用,以存代算部分使用多GPU分布式渲染管线,实现按渲染对象、区域、任务等划分,多GPU间实时调度,实现10亿级面片,8K实时渲染。
在端云协同渲染部分,通过渲染管线级、空间对象级实时端云自适应切分,借用云上算力,实现端侧超真实的实时光追效果,降低端侧渲染功耗30%。
同时华为云MetaStudio目前已支持万人同服,极致渲染成本,支撑大型活动。其中万人同服基于强大稳定的分布式服务框架,支持万人同时同屏互动,打破空间限制,获得超越现实的沉浸式体验。同时在用户互动方式方面支持多人同时同屏互动、文字/语音/视频实时交流互动、组团参观虚拟展会/展厅沉浸虚拟空间。
3、结束
华为云MetaStudio数字内容生产线,目前基于盘古大模型、渲染引擎、实时音视频技术,现已能提供数字人模型生成服务、数字人模型驱动服务,解决方案包括数字人生产线、虚拟直播生产线、企业3D空间生产线、虚实融合生产线,主要行业应用包括:文旅、媒资、工业、电商、文娱等。相信随着华为云MetaStudio不断发展,后续会应用到更多行业中去。
本文参与华为云社区【内容共创】活动第24期。
- 点赞
- 收藏
- 关注作者
评论(0)