【云驻共创】MetaStudio数字内容生产线,快速打造数字人和企业3D空间

举报
y-wolfandy 发表于 2023/10/19 22:11:38 2023/10/19
【摘要】 数字内容生产线(MetaStudio),依托图形引擎和空间引擎两大媒体引擎,提供3D模型制作(Creator)、资产管理(Store)、内容编辑(Editor)、物理仿真(Simulation)、云渲染(Rendering)5大平台能力,帮助伙伴和开发者快速构建高质量模型,用于虚拟直播、虚拟视频内容制作等适用于教育课件、电商带货、社交文娱等场景。

1、前言


随着AI时代的到来,AIGC正引领数字领域时代变革,如何助力企业在千行百业快速进行数字化转型,为企业带来效率的提升,是我们一直面临的课题。今天会议内容主要围绕MetaStudio数字内容生产线快速打造数字人和企业3D空间进行内容分享的交流。

数字内容生产线(MetaStudio),依托图形引擎和空间引擎两大媒体引擎,提供3D模型制作(Creator)、资产管理(Store)、内容编辑(Editor)、物理仿真(Simulation)、云渲染(Rendering5大平台能力,帮助伙伴和开发者快速构建高质量模型,用于虚拟直播、虚拟视频内容制作等适用于教育课件、电商带货、社交文娱等场景。


2、华为云MetaStudio


2.1、现状

目前AIGC正引领数字领域内容变革,数字内容生产进入智能化新阶段。数字化正逐步从PGCUGC再发展到AIGC。以传统电影为例,最初PGC主要依靠专业设计师进行设计,即人+算力强度生成,后来发展成UGC后,可以由普通用户通过制作工具生成,即人+知识广度生成,现在发展成由AIGC生成,即通过AI+模型尝试生成电影相关内容。


2.2、自动化、智能化生产成为数字人新趋势

随着数字人技术不断迭代更新,自动化和智能化生产将成为新趋势。

按照传统数字人生产主要包括低模、高模、材质、绑定、专业动捕、渲染等过程。而通过自动数字人生产通过自动化建模、自动化捏脸、视觉、布料仿真、渲染加速等过程,通过自动数字人生产,可将IP型数字人生产时间由人工数字人生产的大于1个月时间,缩短至1周;通过智能化生产,可将服务型数字人生产时间由实景拍摄视频所需1周时间,缩短至10分钟。


2.3、华为云MetaStudio新功能

华为云媒体基础设施,赋能伙伴和开发者实现智能化生产。云原生媒体基础设施包括云计算、AI、计算机图形、区块链等技术,主要内容和应用包括3D应用和3D内容,其中内容从2D3D,内容生产PG/UGC走向AIGC,媒体由视频到互动媒体。同时在端侧提供了数字人入口,包括手机、PC、大屏、裸眼3D、全息等终端。


同时华为也打造虚实融合、云端协同的媒体基础设施,使能行业客户进入数字原生时代。

华为云MetaStudio媒体服务主要包括远程协作平台(模型制作、内容编辑、资产管理、物理仿真、云渲染)、盘古数字人大模型(数字人模型生成服务、数字人模型驱动服务)、实时互动空间(空间定位、数字人大脑、多用户接入、多用户交互)。

数字人生产平台:

  • 行业场景:代言IP、元宇宙、虚拟主播、金融客服
  • 关键能力:基于盘古大模型构建盘古数字人通用大模型和用户个性化模型,实现数字人模型生成和数字人表情、口型、肢体的精准驱动。

企业3D空间:

  • 行业场景:文旅/零售元宇宙、企业3D展厅等
  • 关键能力
  • 低代码开发平台
  • 万人同服,分布式消息引擎,实现每秒亿级消息交互
  • 超大场景实时渲染,以存带算,时空复用


为满足不同业务发展需要,华为MetaStudio提供了丰富的云上开发调用接口,赋能开发者构建云上生产线。

  • IP3D数字人接口:包括照片建模、语音驱动、视频驱动、实时语音驱动、体积视频
  • 分身数字人接口:包括分身数字人形象训练、分身数字人视频制作、分身数字人直播、声音模型训练、文图分身数字人
  • 资产管理接口:包括数字资产管理
  • 数字人视频交互接口:包括视频交互、个性化知识大模型


华为IP型数字人能提供全流程高品质、高效率云上数字人制作。主要通过提取数字人的特性,进行自动化建模、视频语音驱动、数字人仿真、实时离线渲染等操作进行IP型数字人操作。

华为IP型数字人具备优势如下:

  • 形象稳定:能叠加各种艺术和技术、稳定的公众形象、强大的可控性
  • 响应快速:技术驱动、快速响应市场变化、不受个人时间和空间限制
  • 产品丰富:按需快速产出品牌内容,更易操作、安全受控。


华为服务型数字人,赋能企业面向用户提供数字人播报、客服类服务。主要操作过程包括分身模型、分身驱动、播报视频生成。相比传统播报方式,数字人方式具有无需拍摄、无需录制、无需后期等特点,制作方便快捷。


华为服务型数字人主要依赖于盘古大模型赋能数字人模型生成、模型驱动两大服务。华为云盘古大模型拥有PB级音视频数据训练能力,其中数字人通用大模型包括数字人形象、数字人动作、数字人表情、数字人口型、数字人声音,数字人个性化大模型包括个性化动作、个性化表情、个性化口型、个性化声音。通过文字、图片、视频经过数字人模型会生成相应的形象、声音、表情、口型、肢体、语义、情绪等数字人信息,主要应用场景包括数字人直播、数字人播报、数字人会议、数字人客服、数字人教师。


华为云MetaStudio目前可分别通过文字、图片、视频生成数字人,且在业内具有较高优势。其中文字生成数字人业界需要30秒,而华为云MetaStudio仅需10秒;图片生成数字人业界需要时间大于60秒,而华为云MetaStudio仅需30秒;视频生成数字人业界需要时间12小时,而华为云MetaStudio仅需1小时;


而数字人通过远程通信协作方式也越来越普及。在远程通信协作场景下,可通过真人实时驱动数字人,通过人脸特征追踪、身体姿态估计、声音特征提取等操作后,分别生成人脸特征向量、身体特征向量、声音特征向量,最终生成实时驱动数字人,在整个过程中无需传输视频流,仅需传输特征向量信息,带宽降低1000倍。


华为云MetaStudio企业3D空间,聚合媒体服务全栈能力,围绕4类场景打造3D空间。目前4类行业空间主要包括文旅空间(咨询规划专业服务)、展厅空间(模型制作专业服务)、零售空间(3D应用开发使能)、地产空间(SparkRTC实时互动服务)。


华为云MetaStudio实时光追渲染,通过全栈架构创新、以存代算、端云协同技术加速行业应用上云。

在时空复用,以存代算部分使用多GPU分布式渲染管线,实现按渲染对象、区域、任务等划分,多GPU间实时调度,实现10亿级面片,8K实时渲染。

在端云协同渲染部分,通过渲染管线级、空间对象级实时端云自适应切分,借用云上算力,实现端侧超真实的实时光追效果,降低端侧渲染功耗30%


同时华为云MetaStudio目前已支持万人同服,极致渲染成本,支撑大型活动。其中万人同服基于强大稳定的分布式服务框架,支持万人同时同屏互动,打破空间限制,获得超越现实的沉浸式体验。同时在用户互动方式方面支持多人同时同屏互动、文字/语音/视频实时交流互动、组团参观虚拟展会/展厅沉浸虚拟空间。


3、结束


华为云MetaStudio数字内容生产线,目前基于盘古大模型、渲染引擎、实时音视频技术,现已能提供数字人模型生成服务、数字人模型驱动服务,解决方案包括数字人生产线、虚拟直播生产线、企业3D空间生产线、虚实融合生产线,主要行业应用包括:文旅、媒资、工业、电商、文娱等。相信随着华为云MetaStudio不断发展,后续会应用到更多行业中去。


本文参与华为云社区【内容共创】活动第24

任务18https://bbs.huaweicloud.com/live/HDC_live/202307081030.html?ticket=ST-82084665-ElPvebfIfdFIfsoikISGrSDn-sso

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。