《电子技术应用》
您所在的位置：首页 > 人工智能 > 设计应用 > 基于Star-Gan的人脸互换算法
基于Star-Gan的人脸互换算法
《信息技术与网络安全》2020年第5期
易旭，白天
中国科学技术大学 软件学院
摘要： 基于Star-Gan的人脸互换算法易旭，白天(中国科学技术大学 软件学院，安徽 合肥 230026)基于深度学习的人脸互换算法会因背景人脸环境的明亮程度、人脸表情、姿势等因素影响换脸效果，现阶段的人脸互换模型存在固有的弊端。采用Patch-Gan(Generative Adversarial Networks)的判别器结构能通过全卷积网络增强人脸局部一致性的效果。生成器将Unet结构的编码器的特征输出作为输入，能考虑多层信息细节。整体模型架构采用Star-Gan的模型，引入实例归一化层能保证图像的独立性。最后在Face-Forensics++人脸互换数据集上进行验证，结果表明，融合的模型有较好的生成效果和细节。
中图分类号：TP183 文献标识码：A DOI： 10.19358/j.issn.2096-5133.2020.05.003
引用格式：易旭，白天.基于Star-Gan的人脸互换算法［J］.信息技术与网络安全，2020,39（5）：12-16.
Yi Xu，Bai Tian
School of Software Engineering,University of Science and Technology of China
Abstract： The effect of face swap algorithm based on deep learning will be affected by the brightness of the background face environment,facial expression,posture and other factors.There are inherent disadvantages in the current face swap models.The discriminator structure based on PatchGan can enhance the local consistency of human face through full convolution network.The generator takes the feature output of the Unet encoder as the input,and considers the multilayer information details.Among them,StarGan model is adopted as the overall model architecture,and case normalization layer is introduced to ensure the image independence.Finally,it is validated on FaceForensics++ face exchange data set.The results show that the optimized model has better generation effect and details.
Key words : deep learning;face swap;generative adversarial networks

随着深度学习技术的兴起，图像处理相关的研究有了一项强有力的技术支持。人脸互换在图像处理方面作为一个里程碑式的技术，意味着计算机能够理解人脸图像。如何通过对抗生成网络实现人脸互换，提升生成效果是现如今计算机视觉的一大热点。

对于传统的方法Face-swap［1］，人脸互换只是把目标人脸截取，粘贴到原始人脸上面，使用图像融合的相关算法（如泊松融合）消除边界，后续的改进一般是在图像融合方面进行突破。

近年来，随着深度神经网络技术的成熟，KORSHUNOVA I［2］提出基于深度学习的人脸互换，将两个人脸的身份信息看成是两个不同图片风格，为一个目标人物训练一个深度神经网络提取人脸特征，换脸其实就是替换人脸的高维隐空间向量，而后再用训练好的人脸生成器进行生成，这种方式要求同一身份大量的人脸数据，其训练得到的模型只适用于这两个身份。YUVAL N［3］提出先使用3DMM模型拟合人脸，再互换人脸，解决了需要大量同一身份人脸图片的问题，但3DMM仍然有人脸匹配失败的问题，最终导致模型出错。NATSUME R［4-5］提出了FSnet和RSGAN,使用编码器学习整体人脸的编码，对所有的人脸只学习一个单一的人脸身份编码器网络，但由于输出的编码是一个高维的人脸身份向量，特征信息依然高度纠缠。

本文借鉴前人的思想，使用Star-Gan模型作为生成器，利用Arcface［6］身份编码器提取人脸高维身份特征，针对人脸细节的生成，使用基于U-net［7］的人脸特征编码器模型为多层级的输入，解决人脸特征纠缠的问题，使用PatchGan的思想改造判别器网络结构，引入实例归一化层提升生成效果。



本文详细内容请下载：http://www.chinaaet.com/resource/share/2000003093


作者信息：易旭，白天(中国科学技术大学 软件学院，安徽 合肥 230026)

此内容为AET网站原创，未经授权禁止转载。

相关内容