3D人脸重建综述 —— 3D形变模型

一、3DMM

  三维形变模型建立在三维人脸数据库的基础上，以人脸形状和人脸纹理统计为约束，同时考虑到了人脸的姿态和光照因素的影响，因而生成的三维人脸模型精度高。初版3DMM虽然解决了人脸变形模型的表达，但其在人脸表情表达上面明显不足，在2014年时，FacewareHouse提出并公开了一个人脸表情数据库，使得3DMM有了更强的表现力。

主要作用：利用统计方法，构建2D人脸的3D模型

形变思想：Morphing技术（如果两幅图像存在一定的对应关系，则可以利用对应关系生成一系列具有平滑过渡效果的图像）

二 、LSFM-3DMM

  提出了一个大规模的人脸模型（LSFM），这是一个3维形变模型（3DMM），从9663个独特的脸部标志中自动地搭建。LSFM 是迄今为止被构建出来的最大规模的形变模型，包含了从一个巨大的人口变量中提取的统计信息。为了搭建出这样一个模型，研究者创造了一个全新而且全自动且稳定的形变模型搭建pipeline。训练 LSFM 的数据集包括关于每个主题的丰富的人口统计信息，不仅可以构建全球3DMM模型，还可以构建针对特定年龄，性别或族裔群体的模型。

差异化建模： 使用了~10000个人脸3D数据建模，并针对性别、年龄、人种等熟悉分别建模，提高了准确性

自动化的Pipeline： 自动化的3D特征点定位 ；自动修剪失败模型

三、Nonlinear-3DMM

  传统的3DMM是从2D人脸图像的3D人脸扫描中学习的，并由两组PCA基函数表示。由于训练数据的类型和数量，以及线性基础，3DMM的表示能力是有限的。所以提出了Nonlinear-3DMM，更好地表达人脸信息。

线性3DMM局限性：

• 线性模型相对简单，表达能力弱（相当于单层网络）

• 重度依赖3D人脸扫描数据 

• 3D扫描数据一般出自实验室，无法准确还原自然状态下人脸

Nonlinear 3DMM的优势：

• 更好的表达能力； 

• 弱监督学习（weak supervised learning），只在模型预训练阶段使用少量3D数据；

•  可以使用大量自然状态下的人脸图像