基于图像距离匹配的人脸卡通化技术*
2015-04-28
作者:李倩影, 陈锻生, 吴扬扬
摘 要: 提出了一种基于人脸匹配的卡通化方案。首先建立有代表性的人脸图像库,通过矢量绘图工具对图像库中的每幅人脸图像绘制相应的卡通图,从而建立对应的卡通图库;然后对新输入的人脸图像采用基于OpenCv训练的分类器在Viola和Jones人脸检测方法框架下检测人脸区域,通过基于图像欧氏距离的PCA人脸识别匹配得到最相似人脸,进而得到相应的卡通图。实验结果表明,该方案可以获得与输入人脸相似图像的卡通图形,而且满足现在数字娱乐的需求。
关键词:卡通脸;人脸检测;人脸识别;图像欧氏距离
近年来,数字媒体技术已经深深融入日常生活中,真实人脸的卡通化在网络游戏、移动数字娱乐等领域具有广泛的应用。图像卡通化的方法主要有三类:(1)将图像人脸变形[1],生成漫画风格;(2)利用素材库里的素材对人脸图像的五官进行匹配或替换生成卡通图像[2];(3)图像风格化[3],即绘画风格化和抽象化方法, 其中,前者模仿绘画者的艺术风格,后者通过滤波等图像处理达到风格化。
本文根据很多人长相相似这个事实,搜索包含成年男女的正面人脸图像各100幅。首先用Adobe Illustror矢量绘图工具对这200幅图像绘制相应的卡通图,建立卡通图库。基于人脸匹配的卡通化流程如图1所示。
1人脸检测
本文采用OpenCV中Viola和Jones[4]人脸检测方法的分类器进行人脸检测。人脸检测框架如下。
(1)使用类Haar特征表示人脸,用积分图实现特征的快速计算。
(2)采用Adaboost算法进行特征选择,选择最能代表人脸的矩形特征,构造成强分类器。
(3)利用瀑布算法分类器组织为筛选式级联分类器,级联的每个节点是Adaboost训练得到的强分类器,级联结构能有效提高分类器的检测速度。用不同尺寸的检测子窗口扫描待检测图像,输出人脸矩形区域。
2 图像距离
2.1传统欧式距离
传统欧氏距离(MED)没有考虑图像像素之间的空间关系,图像矩阵被扩展成向量时,丢失了像素之间的空间信息,故当图像发生轻微平移或扭曲变形时,就可能在度量图像相似性时产生错误。传统欧氏距离公式为:
d(x,y)=[(x-y)T(x-y)]1/2 (1)
其中,x、y是两幅大小均为M×N的图像。
2.2 图像欧式距离
基于传统欧氏距离的问题,Wang Liwei[5]等人提出了一种改进的欧氏距离算法——图像欧氏距离(IMED),定义为:
d(x,y)=[(x-y)TG(x-y)]1/2 (2)
G=(gij)MN×MN (3)
gij=f(|pi-pj|) (4)
其中,G为度量系数矩阵,是对称正定矩阵;|pi-pj|是图像中第i个像素点和第j个像素点坐标的相对距离。
因为G为对称正定矩阵,因此采用式(5)的分解形式:
G=ATA (5)
令u=Ax,v=Ay,则:
(x-y)TG(x-y)=(x-y)TATA(x-y)=(u-v)T(u-v) (6)
式(6)表明,求图像x和y间的图像欧氏距离等价于求u和v间的欧氏距离,只需要用u、v代替x、y代入算法中即可。因此本文用一种类似高斯函数的形式对x、y进行变换得到u、v。
将一幅M×N的图像x=(x1,1,…,xM,N)转换为M×N的图像u=(u1,1,…,uM,N),即:
u(i,j)=x(i,j) (7)
其中,x(i,j)为图像x中(i,j)位置的像素点的灰度值,u(i,j)为转换后的图像u中(i,j)位置的像素点的灰度值,d(xi,j,xk,l)是xi,j到xk,l的空间位置距离。同理将y变换得到v。
3基于IMED的PCA算法的人脸识别实验
实验使用ORL人脸数据库,选取库中每个人的前5幅图像作为训练集样本,共200幅;选取后5幅图像作为测试集样本,共200幅。
PCA[6]识别算法步骤如下。
(1)读入训练集图像数据。将每个人脸图像转化为一维的向量。
(2)计算平均脸和到平均脸的距离。平均脸就是所有人脸图像的平均值向量,到平均脸的距离是每张人脸与平均脸间的距离。
(3) 计算特征脸。计算协方差矩阵,保留协方差矩阵的前10个较大特征值对应的特征向量,得到特征脸空间。
(4)投影。将每一幅人脸与平均脸的差值矢量投影到特征脸空间,得到相应的特征脸向量Pn,n为训练样本个数。
(5)对测试集样本进行人脸识别。对测试集样本人脸图像投影到特征脸空间,得到向量P,利用欧氏距离计算P与Pn的距离,距离最小所对应的训练集中的图像类别就是测试样本的识别结果。
原训练集中部分样本如图2(a)所示,按式(7)求取变换后相应样本如图2(b)所示。部分原测试样本如图3(a)所示,同理变换后相应样本如图3(b)所示。
基于IMED的PCA算法(将变换后的训练集和测试集图像代入PCA算法中进行人脸识别)和基于MED的PCA算法(将原训练集和原测试集图像代入PCA算法中进行人脸识别)的识别结果如表1所示。由表1可见,基于IMED的PCA算法的识别率高于基于MED的PCA算法。
对输入一幅正面人脸图像与人脸库中男女各100幅图像,采用基于IMED的PCA人脸识别算法进行人脸相似匹配。对于检测出的人脸区域的灰度图像,通过一种类似高斯函数的形式进行变换,变换后的图像考虑了图像中各个像素点的空间关联信息,能比较客观地反映图像间的差异;再将变换后的图像与转换后的人脸区域库中的人脸区域进行PCA算法识别匹配,得到相似人脸区域图像,从而得到相应人脸图像,通过该图像的编号搜索得到卡通图库中对应的卡通图。部分实验结果如图4所示。
本文根据人多就有长相相似的事实,提出通过人脸相似匹配,在事先建好的人脸及其卡通图库中匹配相似人脸图像,用其相应的卡通图来表示输入人脸的卡通图,直接得到输入人脸的卡通图形。该系统采用基于图像欧氏距离的PCA算法来进行人脸相似匹配,图像欧氏距离充分考虑了像素空间位置的关系,可提高图像匹配的精度,获得更相似的卡通人脸。
参考文献
[1] KULKARH P. Interactive caricature generation using frontal photo-graphs[D].Master thesis,Indian Institute of Technol-ogy, Kanpur, May, 2002.
[2] 刘振安,刘瑄.基于SVG的卡通人脸图像自动生成法[J].测控技术,2006,25(5):24-26.
[3] KYPRIANIDIS J E, COLLOMOSSE J, WANG T, et al. State of the ′Art′: a taxonomy of artistic stylization tech-niques for images and video[J]. IEEE Transactions on Visualization and Computer Graphics, 2013(19):2013.
[4] VIOLA P, JONES M. Rapid object detection using a boo-sted cascade of simple features[C]. Proceedings of the 2001IEEE Computer Society Conference, Transactions on Com-puter Vision and Pattern Recognition, 2001,1(1): I511-I518.
[5] Wang Liwei, Zhang Yan, Feng Jufu. On the Euclidean dis- tance of images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(8):1334-1339.
[6] KIRBY M, SIROVICH L. Application of the karhunen- loeve procedure for the characterization of human faces[J]. IEEE Transactions on Pattern Analysis and Machine Intel- ligence, 1990,12(1):103-108.