首个基于3DGS的高质量动态人脸重建！华为云论文在顶会ECCV'24发布

近日， ECCV'24在意大利米兰如期举办。在本次大会上，华为云技术创新部-媒体创新Lab和上海交通大学人工智能研究院合作发表论文《Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture》！

论文提出首个基于三维高斯泼溅的自动动态人脸几何和纹理重建框架，能够直接从多视角视频中重建拓扑一致的几何表面和包含毛孔级细节的动态8K纹理贴图，无需人工操作，加速传统流程数十倍。

ECCV全称为European Conference on Computer Vision（欧洲计算机视觉国际会议），是计算机视觉领域中最重要和最具影响力的国际会议之一，与ICCV（国际计算机视觉大会）和CVPR（计算机视觉与模式识别会议）并称为计算机视觉领域的“三大顶会”。ECCV每两年举办一次，本届会议共收到12000余篇投稿，有2395篇文章被接收，录用率仅19.96%。

4D人脸重建旨在从视频中生成动态拓扑网格和相应的纹理贴图，由于其能够模拟真实的面部肌肉抖动、毛孔挤压和褶皱，被广泛用于电影、游戏等产业。当前业界常用的传统方法大多基于多目立体视觉和非刚性配准技术，这种方法易于出错且需要专业艺术家耗费大量时间进行手工修饰。现有的基于深度学习的方法大多需要大量昂贵的数据用于训练，难以扩展到新的拍摄系统和训练集中未出现的表情，且帧间一致性较差。

为了解决上述问题，本文提出了Topo4D，在跟踪动态三维高斯运动的同时保持稳定的拓扑关系，实现快速的高质量动态人脸重建。

• Topo4D提出了高斯网格（Gaussian Mesh），通过将高斯点绑定到网格顶点将三维人脸表示为一组具有固定拓扑关系的动态三维高斯点集，并在每一帧执行交替几何和纹理优化实现高质量的几何和纹理学习。
• 为了在优化三维高斯的同时保持稳定的拓扑和良好的布线，Topo4D利用一组基于物理先验的损失建模高斯点的三维运动，实现了长距离顶点跟踪。除此之外，Topo4D还借助基于拓扑先验的损失从高斯点集中提取高质量网格。
• 为了学习真实的毛孔级纹理颜色，并从高斯点集中生成高分辨率纹理贴图。Topo4D提出了UV空间稠密化方法，在不打破预定义的拓扑和UV关系的情况下建立稠密高斯网格，将真实稠密纹理颜色正确映射到UV贴图空间中。

大量的实验表明，Topo4D在网格和纹理质量方面都优于现有的三维人脸重建方法，同时具有更好的可扩展性、可泛化性和时间一致性。加速了传统方法数十倍且无需人工操作。

华为云媒体创新Lab与国内外顶尖高校建立合作关系，致力于研发基于下一代计算与显示平台的4D Avatar技术，已深度开展基于三维高斯泼溅的数字人及AIG3D等相关领域的创新性研究。具体研究方向除本论文涉及的高质量动态人脸重建外，还包括多模态控制的数字人动作驱动，数字人属性编辑，和高保真数字人重打光等。该方向的研究成果后续将被应用在XR眼镜、裸眼3D等前沿设备上，为用户带来更真实的虚拟交互体验。