《电子技术应用》
您所在的位置：首页 > 人工智能 > 设计应用 > 基于GANs无监督回归三维参数化人脸模型
基于GANs无监督回归三维参数化人脸模型
2020年信息技术与网络安全第11期
张星星1，李金龙2
1.中国科学技术大学 软件学院，安徽 合肥230026； 2.中国科学技术大学 计算机科学与技术学院，安徽 合肥230026
摘要： 针对神经网络回归训练过程中三维人脸数据稀缺的问题，提出了基于生成对抗网络(GANs)回归三维参数化人脸模型(3DMM)的无监督学习方式。首先利用GANs的对抗生成训练使生成器回归的3DMM参数符合真实感人脸形状的参数分布。随后将生成的三维人脸网格渲染成二维图片，利用身份编码器对输入人脸及渲染人脸分别提取身份特征向量，通过不断缩小向量之间的距离使得生成的三维人脸网格靠近输入人脸的身份特征。实验结果表明，该方法在重建结果顶点位置准确性上相对于现有的方法有明显的提升，且拥有较好的RMSE值，能够较好应用于三维人脸重建任务。
中图分类号： TP391.41
文献标识码： A
DOI： 10.19358/j.issn.2096-5133.2020.11.008
引用格式： 张星星，李金龙. 基于GANs无监督回归三维参数化人脸模型[J].信息技术与网络安全，2020，39(11)：50-55.
GANs-based unsupervised regression for 3D morphable model
Zhang Xingxing1，Li Jinlong2
1.School of Software Engineering，University of Science and Technology of China，Hefei 230026，China； 2.School of Computer Science and Technology，University of Science and Technology of China， Hefei 230026，China
Abstract： Aming at the problem of scarcity of 3D face ground-truth data in the training process of neural network regressing for 3D facial mesh, an unsupervised learning method based on Generative Adversarial Networks(GANs), which regresses for 3D Morphable Model(3DMM) parameters, is proposed. Firstly, the adversarial training process of GANs is used to make the generated 3DMM parameters conform to the realistic 3DMM parameters distribution. Then, the generated 3D facial mesh is rendered into a 2D image. Later, the identity encoder is used to extract the identity feature embeddings from the input face and the rendered face respectively. By continuously minimizing the distance between the two embeddings, the generated 3D facial mesh is enforced to maintain the identical features of the input face. The experimental results show that the proposed method has a significant improvement in the accuracy of vertex position compared with the existing methods, and has a good RMSE value, which can be well applied to 3D face reconstruction tasks.
Key words : 3D face reconstruction；generative adversarial networks；unsupervised

0 引言

    三维人脸重建是指通过一张或多张同一个人的照片来构建该人的三维人脸网格。该课题一直是计算机视觉和图形学的热门关注焦点，拥有广泛的应用场景，如人脸身份识别、医学方案展示、三维人脸动画等。

    在三维人脸重建领域，VETTER T和BLANTZ V在1999年提出的三维人脸参数化模型(3DMM)[1]具有重要意义。3DMM采集了200位实验对象的脸部激光扫描数据集，并对该数据集进行主成分分析(PCA)。通过对PCA所提取的基向量进行线性组合从而构成一张新的人脸。

    传统的三维人脸重建基于迭代方法[2]，即针对输入人脸，利用人脸关键点，反复调整基向量的参数使得三维人脸渲染后提取的人脸关键点与二维人脸关键点接近，以此达到具有输入人脸特征的三维人脸网格。然而，该方法较为依赖人脸关键点的检测结果，在人脸姿势较大或有遮挡物时，效果较差，迭代过程耗时也较长。

    近年来，随着深度学习的不断发展，越来越多的研究开始运用基于回归的方法重建三维人脸。然而，在神经网络的训练过程中，一个亟需解决的问题便是三维人脸训练数据稀少。针对这一问题，部分研究提出利用合成数据[3-4]，即先随机初始化3DMM的参数作为参照的三维人脸，而后将该三维人脸投影成的二维人脸作为输入数据，进而扩大训练数据集。因为合成数据投影形成的二维图片不能反映真实世界的复杂度，故GENOVA K[5]提议采用真实图片及合成图片的混合数据集进行两步训练。TEWARI A[6]利用编码解码器结构直接从单张图片重建三维人脸，解码器是基于专业知识精心设计的，但可扩展性较低。TRAN A T[7]等人提议利用迭代方法形成的三维人脸作为神经网络所需的配对三维人脸数据进行训练。

    本文基于前人的思想，提出采用GANs神经网络回归3DMM模型参数进行三维人脸重建任务。在解决三维人脸数据稀少问题上，本文提出两种并列的监督信号：(1)二维监督信号：利用三维人脸投影后的二维人脸与输入的二维人脸身份差异及皮肤颜色差异，来提供二维层面的监督信号，使得二者相近；(2)三维监督信号：利用重构的三维人脸顶点分布与普遍三维人脸顶点分布差异，来提供三维层面的监督信号，以使得重构后的三维人脸具备真实感人脸形状。由于仅依赖二维监督信号可能会导致一些重构后三维人脸顶点离正常人脸顶点偏差较大，虽然投影结果依旧初具人脸形状，仍能被系统识别，但视觉感受却与普遍人脸形状相差较大。其原因在于缺少三维监督信号，使得重构后的三维人脸顶点分布近似于普遍三维人脸顶点分布。本文拟采用生成对抗网络(GANs)[8]来提供三维监督信号，利用生成器及判别器的对抗生成，指引人脸顶点分布接近于真实感人脸顶点分布。




本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003177




作者信息:

张星星1，李金龙2

(1.中国科学技术大学 软件学院，安徽 合肥230026；

2.中国科学技术大学 计算机科学与技术学院，安徽 合肥230026)

此内容为AET网站原创，未经授权禁止转载。

相关内容