6月26日~29日,首届中国·重庆科技电影周在重庆永川区举行,期间开展了影视科创展、主题沙龙、全国大学生48小时虚拟制作大赛决赛等相关主题活动。开幕式上,揭晓了首届电影金数字荣誉,华为云数字内容生产线MetaStudio等10家企业的产品获得年度杰出技术创新应用荣誉,助推中国电影形成与数字化时代相匹配的电影新工业体系。
这也是盘古媒体大模型在华为开发者大会2024(HDC 2024)发布后在电影行业活动的首次亮相,不仅重点展示了语音生成、视频生成以及AI翻译方面的技术创新,同时还有WorkSpace云上生产制作平台、数字人、渲染、虚拟空间等技术,体现了华为云在数字内容生产方面的创新应用。
随着跨国文化的交流与输出日益增加,影视/短剧出海的视频翻译需求越来越旺盛。传统视频译制,需要配音演员熟悉翻译后的台词、体会角色情感,再对视频进行目标语种的重配音。质量完全取决于配音演员的专业能力,而且角色的声音和情感都会被重塑。随着AI技术的发展,影视翻译和配音有了更多的创新与发展。
华为云盘古媒体大模型提供的声音克隆和翻译能力,可保留电影中原始角色的音色、情感、语气,且可以驱动口型实现音唇同步,带来更好的观影体验。
在《无尽攀登》影片中,有多种角色对话、有登顶时激动的情绪表达、戴着面具口罩时大量的口型遮挡画面等,在译制过程中角色的音色、语调、情绪、口型都得到了很好的还原。
另一方面,除了影视出海翻译需求以外,影片的二次创作需求也非常突出。中国有很多经典老电影,受限于当时的拍摄条件,现在的高清设备播出效果不佳,导致资产也没有很好地利用起来。通过视频转动漫方式可将电影二次发行,将大大提升资产效率,包括很多广告营销、短剧二次创作等,都可以通过动漫化的方式去实现,提供更多创意的可能性。
▲文旅宣传短剧《海上有座花园》
通常,一部传统的动画电影创作周期是3-5年,涉及的制作团队规模非常庞大。通过视频再结合AI视频转绘的技术,可以将动画电影制作时间从几年缩短至几个月时间。
以《致亲爱的自己》为例,这部动画短片五分多钟,通过真人拍摄再转绘生成。先上传具有特定风格属性的原始数据30~50张照片进行训练,满足了特定艺术风格的画面生成和具体角色的形象植入。
基于ID一致性模型,即使短片中有大量的大幅度舞蹈动作,人物与镜头的运动大轨迹,视频转绘后也始终保持人物的面部轮廓、发型、五官等样貌特征稳定生成、一致,能看出前后始终是同一个人,实现了技术可控、按需时长生成稳定的动漫。
同时视频中的关键道具蒲公英造型戒指,使用区域和线条结合的精细化视觉控制信号和局部放大重绘等技术,保证了戒指转绘前后的一致性,效果非常好,与电影的艺术主题也非常契合。
基于AI视频翻译、视频转绘等技术,稳定可控的AI技术,将实现内容的高效高质量供给。华为云持续打造的数字内容生产线MetaStudio,从建模、编辑、驱动、仿真、驱动、渲染,为数字内容生产提供云上一站式生产管线,并在每个环节持续构建云原生的媒体创新技术,为影视内容创作者提供更高效的生产平台,将在影视剧出海、动画电影、有声书配音等更多场景中实现广泛的应用,通过AI助力影视工业变革与发展。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
评论(0)