《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > 基于深度集成学习的人脸智能反馈认知方法
基于深度集成学习的人脸智能反馈认知方法
2019年电子技术应用第5期
范叶平1,李 玉1,杨德胜1,万 涛1,马 冬1,李帷韬2
1.国网信通产业集团安徽继远软件有限公司,安徽 合肥230088; 2.合肥工业大学 电气与自动化工程学院,安徽 合肥230009
摘要: 人脸识别技术是深度学习的重要研究领域。为了克服传统开环人脸认知模式以及深层神经网络结构的缺陷,模仿人类实时评测认知结果自寻优调节特征空间和分类认知准则的认知模式,借鉴闭环控制理论思想,探索了一种基于深度集成学习的人脸智能反馈认知方法。首先,基于DEEPID网络建立人脸图像由全局到局部具有确定映射关系的非结构化特征空间;其次,基于特征可分性评测和变精度粗糙集理论,从信息论角度建立非结构化动态特征表征的人脸认知决策信息系统模型,以约减非结构化特征空间;再次,采用集成随机权向量函数连接网络,构建简约非结构化特征空间的分类认知准则;最后,构建人脸认知结果熵测度指标,为人脸特征空间和分类认知准则的自寻优调节机制提供量化依据。实验结果表明,较已有方法,该方法有效地提高了人脸图像的识别率。
中图分类号: TP391.41;TP183
文献标识码: A
DOI:10.16157/j.issn.0258-7998.190084
中文引用格式: 范叶平,李玉,杨德胜,等. 基于深度集成学习的人脸智能反馈认知方法[J].电子技术应用,2019,45(5):5-8,13.
英文引用格式: Fan Yeping,Li Yu,Yang Desheng,et al. Research on intelligent face cognition method with deep ensemble learning and feedback mechanism[J]. Application of Electronic Technique,2019,45(5):5-8,13.
Research on intelligent face cognition method with deep ensemble learning and feedback mechanism
Fan Yeping1,Li Yu1,Yang Desheng1,Wan Tao1,Ma Dong1,Li Weitao2
1.State Grid Communication Industry Group CO.,LTD.,Anhui Jiyuan Software CO.,LTD.,Hefei 230088,China; 2.School of Electric Engineering and Automation,Hefei University of Technology,Hefei 230009,China
Abstract: Face recognition technology is an important research field for deep learning. In order to overcome the shortcomings of traditional open-loop face cognition mode and deep neural network structure, and to imitate human cognition model of real-time evaluation of cognitive results to self-optimized regulate feature space and classification cognition criteria, drawing on the theory of closed-loop control theory, this paper explores an intelligent face cognition method with deep ensemble learning and feedback mechanism. Firstly, based on the DEEPID neural network, an unstructured feature space of face images with a determined mapping relationship from the global to the local is established. Secondly, based on feature separability evaluation and variable precision rough set theory, a face cognition decision information system model with unstructured dynamic feature representation is established from the perspective of information theory, to reduce the unstructured feature space. Thirdly, the ensemble random vector functional-link net is used to construct the classification criterion of the reduced unstructured feature space. Finally, the face cognition result entropy measure index is constructed to provide a quantitative basis for the self-optimization adjustment mechanism of face feature space and classification cognition criteria. The experimental results show that the proposed method can effectively improve the recognition rate of face images compared with the existing methods.
Key words : face recognition;intelligent feedback;ensemble classifiers;entropy measurement

0 引言

    身份鉴别的可信与否制约着人员身份确认和终端信息访问的可靠性,可以有效增强信息获取的安全性。目前广泛应用的身份鉴别技术包括密码、指纹、掌纹和虹膜等[1-4]。然而,上述鉴别技术的性能易受环境、设备和性能的限制。与之相比,人脸识别作为一种身份鉴别技术,只需一个摄像头即可获取人脸图像,是一种基于认知对象本质特性的模式识别算法,为人类的生活提供了广阔的智能化应用前景。

    1888年GALTON F[5]等人首次基于人脸进行身份鉴别,在鉴别过程中虽然尚未涉及自动识别技术,但为人脸识别领域的发展奠定了前提条件。随着信息化和网络化技术的快速发展,当前在理想情况下,人脸识别的效果业已令人满意。然而在实际现场应用中,识别的效果依然会受到诸如光照、姿势、表情、遮挡物等外界因素的干扰。当前人脸识别技术主要采用基于几何特征、基于模板匹配和基于神经网络3种方式。然而,特征具有层次性和多样性,不同层次的特征代表了认知对象的不同分析层面,异构的特征则代表了不同的分析视角。如何获取有确定映射关系的简约人脸图像特征,以适用于海量人脸图像样本尚需深入研究。

    近年来,随着神经网络训练算法的本质改变,以深度学习为代表的人工智能理论研究与应用受到了前所未有的关注。作为一种显著的人脸识别深层神经网络,DEEPID融合了局部特征和全局特征,通过多个卷积层提取由浅到深的人脸非结构化特征[6],这与人类面向不同认知对象由全局到局部获取分析认知信息的渐进认知模式保持一致。然而,目前的人脸识别模型均属于开环认知模式,其特征空间和分类认知准则一旦构建不再更新,这与人类实时评测认知结果可信度、自寻优调节特征空间和分类认知准则的思维存在显著差异。因此,当面对奇异样本或分类面附近的相似样本时,传统开环认知模型性能恶化。此外,深层神经网络中面向同一输入的不同卷积核卷积操作必然会使得输出特征空间冗余,softmax分类器泛化能力的不足也会影响学习模型的可达性和可信性。

    为了克服传统开环人脸认知模式以及深层神经网络结构的缺陷,模仿人类实时评测认知结果自寻优调节特征空间和分类认知准则的认知模式,借鉴闭环控制理论思想,本文探索了一种基于深度集成学习的人脸智能反馈认知方法。首先,基于DEEPID网络建立人脸图像由全局到局部具有确定映射关系的非结构化特征空间。其次,基于特征可分性评测和变精度粗糙集理论,从信息论角度建立非结构化动态特征表征的人脸认知决策信息系统模型,以约减非结构化特征空间。再次,采用集成随机权向量函数连接网络(Random Vector Functional-Link net,RVFL),构建简约非结构化特征空间的分类认知准则。最后,构建人脸认知结果熵测度指标,为人脸特征空间和分类认知准则的自寻优调节机制提供量化依据。实验结果表明,本文所提出的方法较已有方法有效提高了人脸图像的识别率。

1 基于深度集成学习的人脸智能反馈认知模型

    本文提出的人脸智能反馈认知模型包括设定层和验证层两层结构,采用信息交互模式实现人类实时评测认知结果反复推敲比对信息的认知模式,其结构和功能如图1所示。

rgzn1-t1.gif

1.1 设定层

    设定层包括关键点检测、人脸特征提取、认知信息系统建立、分类器设计等模块。首先对训练样本库中的人脸图像进行关键点检测,基于检测得到的关键点将人脸图像分割成多幅子图像,继而采用DEEPID网络提取每幅子图像的特征。特征可分性评测度量DEEPID网络输出特征图的可区分能力以约减特征图集合,变精度粗糙集理论所建立的训练集认知决策信息系统约减简约特征图集合构建的全连接特征向量集合。将简约特征空间送入集成RVFL分类器,可以获取训练人脸图像样本的认知结果,为校验层提供特征空间和分类认知的构建准则。

1.2 验证层

    验证层包括关键点检测、人脸特征获取、匹配识别、结果获取、熵测度等模块。基于设定层所提供的特征空间和分类认知建立准则,可以获取特定认知精度条件下测试人脸图像的认知结果,构建认知结果误差语义熵测度指标量测人脸图像认知结果的可信度,自寻优反馈调节DEEPID网络的特征空间及其分类认知准则,优化认知海量人脸图像。

2 基于深度集成学习的人脸智能反馈认知算法

2.1 基于DEEPID网络的人脸特征提取

    在人脸定位和对齐处理操作后,通过关键点检测将人脸图像特征分散为多个局部特征,选取人脸图像的10个位置分别采用3个尺度获取30个不同部位的RGB图像及其灰度图。随后将每一幅子图像水平翻转,将翻转前后的图像输入至DEEPID网络中。一个DEEPID网络包括4个卷积层,其中第3个池化层的输出与第4个卷积层的输出连接后传播至全连接层。每幅子图像经由DEEPID网络可以得到一个160维特征向量,则每幅人脸图像得到的全连接特征维数是160×60=9 600维[7]。特征维度过高会导致计算复杂度高,同时由于维数灾现象可能会恶化性能,因此,在特征空间被送入模式分类器之前需要对其进行降维处理。

2.2 特征图集合重构

    特征图集合以不同的分析视角表征人脸,具有不同的可区分能力。聚类中心可以表征相似信息,因此,针对一幅人脸图像的全体子图像集合只存在局部差别的情况,采用聚类中心重构特征图集合,以获取更为泛化的人脸特征。

2.2.1 特征可分性度量

    特征可分性度量可以评估每个特征图对人脸图像的可区分能力,这里被引入以排序特征图集合的可区分能力。设DEEPID网络中第3个池化层和第4个卷积层的输出特征图集合为x={x1,…,xm},m为特征图个数,则特征图xj=[xj,1,…,xj,n]T的特征可分性度量指标Qj可定义为:

rgzn1-gs1-2.gif

2.2.2 基于聚类的特征图集合重构

rgzn1-gs3.gif

2.3 人脸认知决策信息系统

rgzn1-2.3-x1.gif

2.4 集成随机权向量函数连接网络

    针对softmax泛化能力不足的缺陷,采用集成RVFL分类器替代softmax分类器,以提高学习模型的泛化能力。在隐含层节点个数nb足够大的前提条件下, RVFL可以任意逼近一个定义在紧集上的非线性映射:

rgzn1-gs4-5.gif

2.5 人脸认知结果熵测度指标

rgzn1-gs6-7.gif

2.6 特征空间和分类认知准则自优化调节

    基于定义的人脸图像不确定认知结果误差语义熵测度指标可以评测人脸认知结果的可信度,若可信则输出作为最终认知结果,否则自寻优反馈调节k、β和L,更新特征空间和分类认知准则,实现人脸的优化再认知。自优化调节准则如下所示:

    (1)若φq的第w次认知结果的熵测度指标Hq,w≤Δ(Δ是认知误差阈值),则表示参数集(kw、βw、Lw)最优适用于当前人脸图像,输出认知结果作为最终结果。

    (2)若Hq,w>Δ,表示当前不确定认知结果粗略符合要求,交叉微调节参数集k、β和L更新待测样本特征空间和分类认知准则,进行第w+1次反馈认知以获取优化认知结果:

    rgzn1-gs8-10.gif

其中,[·]是取整操作。若L调整至Lmax时仍无法满足条件(1),则在[1,Lmax]中选取最佳认知结果所对应的Lopt

3 试验结果与结果分析

3.1 试验环境与数据获取

    目前较为常用的人脸数据集有LFW、ORL、AR、YALE-B等,其中LFW人脸数据集包含5 000人共计13 000幅人脸图像,本试验从中随机选取70%的人脸样本作为训练样本集,其余30%的人脸样本作为测试样本集。部分LFW人脸图像如图2所示。本文采用Caffe框架训练深层神经网络模型,将训练数据集送入DEEPID网络进行训练。本文将认知误差阈值Δ设定为0.85。k和β的搜索范围分别设定为[1,100]和[0.5,1],此外,L和nb的范围分别定义为[2,15](步长为1)和[100,1 000](步长为100)。所有试验在Intel Core i5 CPU 3.0 GHz,16 GB内存,GTX1080Ti环境下运行。

rgzn1-t2.gif

3.2 试验结果分析

    图3给出了在某次试验中测试样本集的识别率关于L、β和k的变化曲线,其中每幅子图像均是固定其中两个参数,调节另一个参数。从图3可以看出,不是所有的基网络集成个数都具有一致的泛化误差。在β和k的某参数组合条件下,7个基网络可以构建泛化能力强的学习模型。通过调节β可以控制不同认知精度的特征空间对不同人脸图像样本的适用程度。此外,随着k的增加,简约特征图集合与原特征图集合越相近,特征空间数据结构复杂度越大,计算速度变慢,而k越小则表明特征图集合充分简约,但可能会导致所需特征信息量不足,认知性能恶化。

rgzn1-t3.gif

    为进一步表明本文所提出的基于深度集成学习的人脸智能反馈认知模型的优越性,在相同的样本集和试验环境条件下,比较了本文方法与其他识别方法的性能,包括DEEPID[6]、ISCDCNNS[10]、CNN+DBN[11]、TL+贝叶斯[12]、DFD[13]等算法。上述方法的1 000次试验的平均识别率如表1所示,所有识别结果均采用均值±标准差的表征形式。

rgzn1-b1.gif

    从表1中可以看出,本文所提出的基于深度集成学习的人脸智能反馈认知算法比传统DEEPID算法具有更优的识别率,达到98.69%,在约减特征空间降低运算复杂度的同时,提高了识别精度。特征可分性度量、认知决策信息系统和集成模式分类器的引入,较传统监督学习增强了特征空间的可区分能力以及模式分类器的泛化性能。基于认知结果熵测度指标实时评测人脸图像的不确定认知结果,自优化调节简约特征空间,模仿了人类实时评测认知结果自寻优调节特征空间和分类认知准则的认知模式,实现了人脸的优化认知。

4 结论

    本文基于深度集成学习的人脸智能反馈认知算法在数据库LFW上进行了人脸识别试验,平均识别率达到98.69%。首先基于特征可分性度量和认知决策信息系统获取DEEPID网络的简约特征空间,然后将简约特征集送入集成RVFL分类器获取人脸识别结果,最后,基于认知结果熵测度指标评测人脸图像的不确定认知结果,自优化调节特征空间和分类认知准则,在多次反馈认知过程中模仿人类实时评测认知结果反复推敲比对的认知模式,实现人脸的优化识别。特征空间的充分性表征以及具有万具逼近能力的模式分类器设计将是下一步的工作重点。

参考文献

[1] 田启川,张润生.生物特征识别综述[J].计算机应用研究,2009,26(12):4401-4406.

[2] 孙闽红,闫云珍,邵章义,等.基于Wigner对角切片谱的射频指纹特征提取[J].电子技术应用,2016,42(1):87-90.

[3] 徐智勇,唐根伟,姜新泉,等.硬件友好型合成指纹鉴别算法的研究[J].电子技术应用,2016,42(10):54-58.

[4] 余成波,李彩虹,曾亮.K-means指纹定位的优化算法[J].电子技术应用,2018,44(2);70-74.

[5] GALTON F.Personal identification and description[J].Nature,1888,21:173-177.

[6] SUN Y,WANG X,TANG X.Deep learning face representation from predicting 10,000 classes[C].2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE Computer Society,2014:1891-1898.

[7] SUN Y,WANG X,TANG X.Deeply learned face representations are sparse, selective, and robust[C].2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE Computer Society,2015.

[8] LI W T,WANG D H,CHAI T Y.Multi-source data ensemble modeling for clinker free lime content estimate in rotary kiln sintering processes[J].IEEE Transactions on Systems,Man,and Cybernetics:Systems,2015,45(2):303-314.

[9] CHEN K Q,WANG J P,LI W T,et al.Simulated feedback mechanism-based rotary kiln burning state cognition intelligence method[J].IEEE Access,2017,5:4458-4469.

[10] 冉鹏,王灵,李昕,等.改进Softmax分类器的深度卷积神经网络及其在人脸识别中的应用[J].上海大学学报(自然科学版),2018,24(141):26-40.

[11] HUANG G B,LEE H,LEARNED-MILLER E.Learning hierarchical representations for face verification with convolutional deep belief networks[C].2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2012:2518-2525.

[12] CAO X,DAVID W,WEN F,et al.A practical transfer learning algorithm for face verification[C].IEEE International Conference on Computer Vision.IEEE Computer Society,2013:3208-3215.

[13] ZHEN L,PIETIKAINEN M,LI S Z.Learning discriminant face descriptor[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,36(2):289-302.



作者信息:

范叶平1,李  玉1,杨德胜1,万  涛1,马  冬1,李帷韬2

(1.国网信通产业集团安徽继远软件有限公司,安徽 合肥230088;

2.合肥工业大学 电气与自动化工程学院,安徽 合肥230009)