《电子技术应用》
您所在的位置:首页 > 其他 > 设计应用 > 基于视觉注意力的视频图像卡通化技术
基于视觉注意力的视频图像卡通化技术
来源:微型机与应用2013年第10期
张 群, 陈锻生
(华侨大学 计算机科学与技术学院, 福建 厦门361021)
摘要: 提出了一种新型的视频图像卡通化处理方案。首先根据视觉显著性模型从输入的视频图像中计算出一张视觉注意力函数图,并将视频图像转换到La*b*色彩空间;在视觉注意图的指导下对低对比度区域用迭代的可分离双边滤波器做平滑操作,对高对比度区域用DoG算子作线条增强;最后用颜色的软量化算子处理L亮度通道使之生成类似于卡通化的颜料块效果,同时加深各边界之间的不连续性。实验表明,本方案对高注意力区域保留更多的细节信息来突出感兴趣区域,同时淡化了不感兴趣的区域,解决了Winnemöller不能处理前景和背景对比度不明显的图像的情况,而且在视觉上更能体现出卡通化的效果。
Abstract:
Key words :

摘  要: 提出了一种新型的视频图像卡通化处理方案。首先根据视觉显著性模型从输入的视频图像中计算出一张视觉注意力函数图,并将视频图像转换到La*b*色彩空间;在视觉注意图的指导下对低对比度区域用迭代的可分离双边滤波器做平滑操作,对高对比度区域用DoG算子作线条增强;最后用颜色的软量化算子处理L亮度通道使之生成类似于卡通化的颜料块效果,同时加深各边界之间的不连续性。实验表明,本方案对高注意力区域保留更多的细节信息来突出感兴趣区域,同时淡化了不感兴趣的区域,解决了Winnemöller不能处理前景和背景对比度不明显的图像的情况,而且在视觉上更能体现出卡通化的效果。
关键词: 图像卡通化; 视觉注意力; 双边滤波; 线条绘制; 颜色量化

    近年来, 视频或图像的卡通化作为一种新兴的文化产业受到越来越多国内外视觉领域专家学者的关注和研究,其中很多国外学者提出了实现视频自动卡通化风格的方法。WINNEMÖLLER H等人[1]提出了一种实时的视频和图像卡通化框架,该框架用双边滤波器来进一步减少低对比度区域的对比度,同时用高斯差分线条来加深高对比度区域的对比度。DECARLO D和SANTELLA A[2]在一个多尺度的系统下使用眼动仪来对图像进行简化。但是由于仪器价格昂贵而且测试起来比较复杂耗时,ITTI L等人[3]提出了基于显著性模型来检测感兴趣的区域,他们认为除了颜色和亮度以外,对比度本身也是一个很重要的特征信息。HAREL J[4]等人在参考文献[3]的基础上提出了一种计算视觉显著性的改进算法,该算法不仅考虑了特征的相似性信息,而且还考虑了特征的差异性信息,从而可以对图像特征进行准确的计算。
    本文在参考文献[1]的基础上使用参考文献[4]的计算视觉显著性模型来简化视频图像中的不重要特征,同时突出重要的视觉特征。
1 提取图像的显著性特征图
    显著性特征图是一种表示相关场景视觉显著性的局部图。参考文献[4]提出了精确的特征计算方法,该算法采用拓扑结构而不再是bottom-up的方式来达到精确的特征计算,同时还使用了马尔科夫链来权衡图像中两点之间边的权重和状态的转换。该算法不仅考虑了特征的相似性,而且考虑了特征的差异性。
    参考文献[4]算法的主要步骤如下。
   
布更加集中,高注意力区域更加连贯,线条也更加明显,同时也能很好地描述主体的大致轮廓。将参考文献[4]方法的显著性函数图叠加到原图,其中中心区域和白色光环表示人眼停留在此区域的时间长短,中心区域表示停留时间比较长,可见,在前景和背景对比度不明显的情况下,参考文献[4]的算法也可以很好地检测出感兴趣的区域。

    用提取的显著性特征图指导双边滤波器对图像中感兴趣区域和不感兴趣区域的模糊程度,通过控制双边滤波器[5-6]的范围权值函数w(·)决定图像什么地方应该模糊什么地方应该强化保留。范围权值函数定义为:
  
    参考文献[1]双边滤波效果如图3所示,利用显著特征图改进的效果图如图4所示。从图3和图4的对比中可以发现,参考文献[1]的双边滤波对整体都有均匀的模糊效果,但是利用显著特征图指导双边滤波就可以在感兴趣的区域模糊程度相对低一些,从而保留更多的细节信息,同时对于不感兴趣的背景区域(如图中的地面和墙)都能去掉更多的细节信息。


3 实验与分析
    两组卡通化效果图如图5和图6所示。因为参考文献[1]假设感兴趣区域是图像的亮度和高对比度区域,对于第2组猫的图像来说,处理前景和背景的颜色差异比较相近的图像就失败了,不能很好地分辨出感兴趣区域。而本文的算法先是采用参考文献[4]算法检测出图像的感兴趣区域,然后再采用不同的权值对图像进行不同程度的滤波,所以在处理这种前景与背景对比度不明显的图像时也能达到很好的效果,并且弥补了参考文献[1]算法不能处理图像前景与背景对比度不明显的情况,从而在视觉效果上更能体现出图像的个性化和艺术性。

    本文提出了一种新型的卡通化方案,在具有参考文献[1]的实时卡通化效果的基础上增加了视觉显著性模型,实现了视频图像的非均匀卡通化处理。实验表明,本文的方案在卡通化一些前景和背景对比度不明显的图像时可以取得很好的效果。
参考文献
[1] WINNEMÖLLER H, OLSEN S C, GOOEH B. Real-time video abstraction[C]. Proceedings of ACM SIGGRAPH’06, ACM, 2006:1221-1226.
[2] DECARLO D,SANTELLA A. Stylization and abstraction of  photographs[C]. Proceedings of ACM SIGGRAPH, 2002:769-776.
[3] ITTI L, KOEH C. Computational modeling of visual attention[C]. Nature Reviews Neuro-Science 2, 2001:194-203.
[4] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[J]. 2006. Nips, 2006.
[5] PHAM T Q, VAN VLIET L J. Separable bilateral filtering  for fast video preprocessing[C]. Proceedings of IEEE International Conference on Multimedia and Expo, IEEE Computer Society, 2005:454-457.
[6] PHAM T Q, VLIET L J. Separable bilateral filtering for  fast video preprocessing[C]. IEEE International Conference  on Multimedia & Expo, CD1-4.

此内容为AET网站原创,未经授权禁止转载。