3D人体重建

3D人体重建相关论文汇总：

SMPL

SMPL模型是一种参数化人体模型，是马普所提出的一种人体建模方法，该方法可以进行任意的人体建模和动画驱动。这种方法可以模拟人的肌肉在肢体运动过程中的凸起和凹陷，因此可以避免人体在运动过程中的表面失真，可以精准的刻画人的肌肉拉伸以及收缩运动的形貌。

SMPLify

首先使用基于CNN的方法DeepCut来预测（自下而上）2D身体关节位置。然后，使用统计体形模型（称为SMPL）（自上而下）拟合到2D关节，是第一种从单个无约束图像自动估计人体3D姿态及其3D形状的方法，估计一个完整的3D网格，并显示仅2D关节带有大量关于体形的信息。

3d Human Body Reconstruction from a Single Image via Volumetric Regression

这篇论文展示了一个端到端的卷积网络，通过体积回归来实现3D几何人体直接的重建。提出的方法不要求适应形状模型，可以接收任意类型的输入，比如地标，图片和分割掩模。另外，不可见的部分，自我遮挡或其他仍然能被重建，和深度图回归无关。

Video based reconstruction of 3D people models

描述了如何为单个单目视频中的移动人体做准确的 3D 建模。基于参数化的人体模型，提出了稳健的处理流程，即使是对穿衣服的人群也能够获得 5mm 分辨率的 3D 模型。该方法可根据动态人体轮廓，柔性地变形轮廓锥体外形，得到共同参考帧中的视觉躯壳，用于重构人体表面。这种方法可有效地评估基于大量画面帧的 3D 外形、纹理和植入式的动画骨架。该方法只需要一个智能手机或者摄像头，就能让每个人都创造自己的全动画数字孪生体，并可应用到社交 VR 或者在线时装购物的虚拟试穿。

Learning to Reconstruct People in Clothing from a Single RGB Camera

提出了一种基于学习的模型，可以在不到10秒的时间内从人眼正在移动的单眼视频的几帧（1-8）中推断出个性化的3D形状，重建精度为5mm。模型学会预测统计身体模型的参数以及将衣服和头发添加到形状的实例位移。该模型基于两个关键设计选择实现快速准确的预测。首先，通过在规范的T-姿势空间中预测形状，网络学习将人的图像编码为姿势不变的潜在代码，其中信息被融合。其次，基于观察到前馈预测快但不总是与输入图像对齐，我们预测使用自下而上和自下而上的流（每个视图一个），允许信息在两个方向上流动。学习仅依赖于合成3D数据。一旦学会了，模型可以采用可变数量的帧作为输入，并且能够甚至从单个图像重建形状，精度为6mm。

HMR

本文提出了端到端的恢复人体3D mesh的模型，输入图片，输出3D模型，对于3D模型的生成，主要借助SMPL方法，其根据shape和3D joints的angles作为输入，输出human mesh。对于SMPL的输入，本文借助GAN的方式进行生成，即生成网络根据输入image直接生成SMPL的输入参数。

BodyNet

网络可以直接从单张图像得到体积测定的人体外形。这个网络是端到端的网络，输入的RGB图像首先被传送到2D位姿估计和2D人体部件分割的子网络。这个网络的预测结果结合原始图像的RGB特征相结合，一起输入到一个3D位姿预测的网络。所有的子网络结合到最后一个网络来推测体素形状。

DensePose

建立了RGB图像和人体surface-based的表示之间的密集对应关系。通过SMPL模型和COCO数据集中的人来建立dense对应关系。作者建立了一个新的可以利用3D表面信息的注释pipeline，其次”in the wild”通过回归任何图像像素处的体表坐标来生成dense对应关系。最后训练一个”teacher”网络来充分利用随机被选择的监督信息。

DenseBody

开发了一种新型 3D 人体网格表示。它能够把 2D 图像中的完整人体编码为姿势和形状信息，无需依赖任何参数化的人体模型。训练了一个编码器-解码器网络，可直接把输入 RGB 图像映射到 3D 表示，无需解决任何中间任务，如分割或 2D 姿态估计。

DeepHuman

用于从单个RGB图像进行3D人体重建，采用分阶段，粗到细的方法，包括三个步骤，即体形/姿势估计，表面重建和正面细节细化。一旦从给定图像估计了一个body，我们的方法就会从中生成一个密集的语义表示。表示不仅编码体形和姿势，还桥接2D图像平面和3D空间。引入图像引导的体积 - 体积平移CNN以在给定输入图像和密集语义表示的情况下重建表面。网络的一个关键特性是它通过体积特征转换将不同比例的图像特征融合到3D空间中，这有助于恢复主体表面几何的细节。通过法线贴图细化网络进一步细化表面正面区域的细节。可以使用我们提出的体积法向投影层将正常细化网络与体积生成网络连接。