建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

RabbitCloud

发帖: 183粉丝: 3

发消息 + 关注

发表于2021年02月01日 20:10:02 644 7
直达本楼层的链接
楼主
显示全部楼层
[其他] 学习笔记 - 基于视频会议的单步自由视图的头部通话视频合成神经模型

传统的人脸动态化任务中,由于缺乏三维信息,只能从原始视角合成,而无法从一个全新的视角来呈现头部的动态。subject-dependent是传统的三维建模方法,通常是建立一个主体相关的模型,只能合成一个特定主体。subject-agnostic是最新的三维建模方法,为了生成逼真的头发、牙齿等,显式控制预训练的StyleGAN从而生成人脸,但其隐变量如何影像输出有待探究。

来自英伟达的科研团队提出了一种对单张图像作自由视角动态合成的方法,能够用在视频会议等动态头部为主体的视频压缩任务中。

本论文的贡献在于,只需要一张图片,就能在基准数据集上实现最好的视觉质量。不需要3D图形模型,能自由地控制不同视角下的动态视频,包括用户自定义的视角。

论文阐述如下:

提出了一个通话状态下的头部视频合成神经模型,并演示了它在视频会议中的应用。

通过使用包含目标人的外观源图像和指示运动的动态视频,我们的模型学习合成输出了一个通话状态下的头部视频。

我们的运动编码基于一个新的关键点表示,其中特定身份的和运动相关的信息是无监督分解。

大量的实验验证表明,我们的模型优于基准数据集上的其他竞争方法。

而且,我们紧凑的关键点表示方式使视频会议系统在仅使用十分之一带宽的情况下就能达到与商业H.264标准相同的视觉质量。

此外,我们展示了关键点表示允许用户在合成过程中旋转头部,这对于模拟面对面的视频会议体验是很有用的。

地址:https://arxiv.org/abs/2011.15126


举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

@Wu

发帖: 156粉丝: 8

发消息 + 关注

发表于2021年02月02日 08:11:11
直达本楼层的链接
沙发
显示全部楼层

感谢分享,MARK 一下,慢慢学习。

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

初学者7000

发帖: 256粉丝: 3

发消息 + 关注

发表于2021年02月02日 09:08:09
直达本楼层的链接
板凳
显示全部楼层

感谢分享,期待后续


点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

HW-QGS

发帖: 261粉丝: 22

发消息 + 关注

发表于2021年02月02日 17:22:57
直达本楼层的链接
地板
显示全部楼层

感谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

Jack20

发帖: 238粉丝: 180

发消息 + 关注

发表于2021年02月02日 17:25:29
直达本楼层的链接
5#
显示全部楼层

满满的干货,感谢分享~

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

yzq18941596181

发帖: 180粉丝: 4

发消息 + 关注

发表于2021年02月02日 20:46:58
直达本楼层的链接
6#
显示全部楼层

感谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

andyleung

发帖: 1023粉丝: 83

发消息 + 关注

发表于2021年02月03日 09:53:15
直达本楼层的链接
7#
显示全部楼层

感谢分享  

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

极客潇

发帖: 521粉丝: 70

发消息 + 关注

发表于2021年02月03日 15:02:33
直达本楼层的链接
8#
显示全部楼层

感谢分享

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200