摘  要： 回顾了图像风格化绘制的发展过程，分类介绍了各种方法的特点，最后阐述了图像风格化仍需解决的问题和未来可能的发展方向。

关键词： 非真实感绘制；笔触；图像处理

       卡通应用非常广泛，在电子邮件（个性化签名）、即时通信（个性化人脸图标）、手机彩信、个性化贺卡、视频会议、影视动画、娱乐游戏等领域都有很大的应用空间。传统的卡通是由专业美术人员手绘产生的，创作者需要经过长期的练习才能具备这种本领，并且这种创作方式效率低下。如何通过计算机辅助的方法，让普通用户也能够生成具有特定人物特征的人脸卡通，以提高绘制卡通画的效率，是一个具有挑战性的课题。

       人脸卡通化的方法主要有3类：（1）基于人脸变形的卡通图像生成方法；（2）人脸图像五官匹配卡通化；（3）图像风格化。

       基于人脸变形[1-2]的卡通图像生成方法，通常做法是根据特征点计算人脸面部特征值来判断需要夸张的部分和各自的夸张变形规则；然后根据特征点生成不同层级的网格并根据不同的变形规则分层实施夸张变形，生成类似漫画的图像效果。

       人脸图像五官匹配卡通化[3-5]，是根据所需要的表情从素材库中调取相应的五官，利用素材库里的素材对人脸图像的五官进行匹配或者替换从而生成出卡通图像。

       图像风格化卡通化方法[6]，即非真实感渲染，是利用计算机生成不具有照片般真实感，而具有手绘风格的图形的技术。其目标不在于图形的真实性，而主要在于表现图形的艺术特质、模拟艺术作品（甚至包括作品中的缺陷）或作为真实感图形的有效补充。

       本文主要介绍人脸图像风格化的卡通化技术，因为目前它的应用最为普遍。

1 人脸图像风格化

       人脸图像风格化是非真实感渲染研究中的一个分支，之所以得到广泛应用，主要得益于它能实现很多艺术作品的模拟创作和动画卡通渲染制作，如水彩画、各种风格的油画、中国画以及卡通动画等。下面对图像风格化技术分别进行介绍。

1.1 基于笔触模拟的绘制技术

       基于笔触模拟的绘制技术着眼于模仿画家的创作过程，这类技术主要有笔画属性的定义、笔画的布置策略以及笔画方向设计3个方面。该技术在发展初期，对笔画的定义以及笔画布置策略的设计成为研究重点，如何自动布置笔画、渲染笔画是这时期的主要工作，随着研究逐渐成熟，如何生成更自然、逼真的艺术作品逐渐成为大家追求的新目标。下面根据各绘制技术特点进行分类介绍。

（1）笔画属性

       HAEBERLI P[7]的系统可以用最少的劳力达到将图像转换成印象派的绘画，该系统通过人工的放置笔画，决定笔画的放置顺序，每点击一下就会产生一个基本图像颜色的虚拟笔刷笔画，笔画的属性与源图像是一致的，笔画的颜色和方向都是来自于源图像，笔画的顺序和尺寸大小都是用户选择的，是产生符合审美且没有丢失显著细节的结果图像的关键。可看出这一工作中笔画具有位置、尺寸、颜色、方向以及形状的属性，而其中大部分属性的确定都来源于用户交互输入。这一工作为后来的绘制技术提供了有意义的参考，比如对笔画关键属性的定义就被后来的绘制技术采纳。然而，过多的交互使得这种方法对用户的要求很高，因此如何实现自动绘制成了后来的关注重点。

（2）笔画布置

       基于图像的艺术风格化渲染的第一个自动化解决方案在LITWINOWICZ P[8]提出的绘画渲染工具中进行了详细描述。系统中这个画布被均匀地分成一定大小的栅格，按已有规律的间隔在画布上放置矩形笔刷笔画，保留了随机绘画顺序，但是引入了裁剪笔画的新方法，根据源图像的Sobel边缘阈值裁剪。对笔画进行裁剪可以减轻不重要区域的笔划覆盖重要区域的现象。一个更远的贡献是在基本没有纹理的平坦区域内插入图像梯度。这样的区域会造成伪梯度方向，产生混乱的笔画方向。LITWINOWICZ P采用薄板样条从很强边缘的笔画中选取插入笔画方向。但该技术的笔画布置仅是直线形式，直接限制了艺术表现力。

       固定尺寸的矩形笔画，虽然经过裁剪，但是处理后的图像效果缺少审美。HERTZMANN[9]提出通过基于多层以及曲线笔画的绘制方法来解决该问题。该算法通过低通金字塔来进行操作，对源图像以逐渐增加尺度的方式进行一系列的高斯模糊。金字塔越小的尺度相应也就是越小的笔画。在绘画层的每一次迭代处理过程中，笔画根据位置上的梯度信息来放置。然而，如果在给定邻域的图像内容与相对应的粗尺度区域无区别时，将不用放置笔画。因此大笔画常放在更平坦的区域，而小笔画一般出现在边缘细节附近。在此基础上，传统笔画的直线布置被一系列控制点取代，进而对这些控制点进行反走样3次B样条拟合，从而形成自然的弯曲笔画。这种多尺度曲线绘制能更好地模拟真实的绘制过程，对后来的绘制技术有重要影响。

       随着笔画定义和布置模式的逐渐成熟，笔画的走向向视觉元素转换逐渐成为绘制效果的瓶颈，随后对此进行了改善工作。

（3）笔画方向

       在总结之前各种方法优点的基础上，HAYS J和ESSA I[10]提出了一种统一的绘制框架，并重点对笔画方向的计算进行了改善。该方法除了采用分层绘制机制以及曲线笔画，还计算了笔画方向场。之前的绘制技术对笔画方向主要为局部梯度的法向，然而这样的方式对局部梯度的噪声非常敏感，造成笔画比较明显时画面较乱。而在HAYS J和ESSA I系统中，一些局部梯度较强的点被选为种子点，这些点处的方向由梯度方向决定。其他点的方向由这些种子进行RBF插值获得，这样方式确定的笔画方向更自然、平滑。图1给出了这种方法的绘制结果，其中图1（a）为输入目标图像，图1（b）为绘制结果。

1.2 基于感知重要性的绘制技术

       DECARLO D和SANTELLA A[11]是第一批采用图像分割应用于图像风格化渲染的人。图像用Mean-shift的变种，降低采样率方式分割。一个尺度空间等级的形成通过确定粗尺度的区域，该区域与邻近的细尺度区域有重叠，并且与细尺度区域享有相似的颜色。这个等级表示一幅图像可以以高度抽象的形式被渲染（使用金字塔顶部的粗尺度区域），或者对于某些区域通过减小等级进行局部分解成更小的纹理区域。这个过程由凝视追踪驱动。观察者看源图像，记录他们的注视持续时间和地点。图像的每个区域的渲染细节水平是确定的。区域采用平铺彩色着色渲染，用Canny边缘检测的平滑的黑色外轮廓。图2给出了该方法的绘制过程。通过仅强调感知重要的细节，描述场景的显著细节，抽掉无关的细节，达到图像卡通化效果。

1.3 基于图像抽象化绘制技术

       基于图像抽象化的绘制技术是无需专门硬件和用户参与的，建模简单，时间复杂度低，直接对原图像进行操作的卡通画渲染方法。

（1）基于双边滤波和DoG的风格化

       基于图像和视频卡通渲染风格化的全自动渲染是WINNEM?魻LLER H等[12]第一次提出来的，他们利用双边滤波器对输入图像进行抽象化处理，使图像中低对比度的区域的对比度变得更低，利用高斯差分线条提取技术增加对比度高的区域的对比度，同时利用颜色软量子方法对抽象化图像进行量化处理，以使最终生成的卡通效果具有较好的时间连贯性。该方法的实现过程如图3所示。

       双边滤波平滑低对比度区域并且保留高对比度的边缘，但对于没有抽象部分展示或者显著视觉特征移除的高对比度的图像来说，双边滤波效果不好，还有迭代滤波能模糊边缘，从而冲淡结果。这些限制可以通过对双边滤波后的图像进行DoG提取图像边缘来缓解。

（2）基于Kuwahara滤波器风格化

       原始Kuwahara滤波器将局部滤波邻域分成公用1个像素的4个矩形子区域。对所有子区域，计算方差（到均值距离的平方和），并用最小的方差作为子区域的均值。对于平坦或者均匀的区域，不同子区域的方差十分相近，因此有最小方差的子区域一般不能很好定义并且容易受噪声影响。对于小滤波器尺寸，Kuwahara滤波产生合理结果。对于图像风格化，需要相当大的滤波尺寸才能达到一个抽象的引人注意的艺术品。这些是由于不稳定子区域选择和矩形子区域造成的。有些方法已解决了这些限制。适用于图像风格化的第一个方法是PAPARI G等[13]提出的一般化Kuwahara滤波器，引入了两个重要观点。一是矩形子区域用平滑权重函数代替，通过磁盘上的扇形建立函数，它们的和服从2D高斯，邻域权重函数平滑重叠，使用给这些权重函数，加权平均和加权方差可以用每个扇形计算；二是子区域的选择由扇形加权平均的加权和代替。该方法产生了更合理的结果。

       对于高度各向异性的图像区域，用一般化Kuwahara滤波器产生扁平化影响太突出，导致模糊了各向异性的结构。像素还会以与滤波器尺寸成比例的方式形成聚类。KYPRIANIDIS J E等[14]引入各向异性Kuwahara滤波器，通过以椭圆定义的权重函数代替以磁盘扇形定义的权重函数，通过调整对应输入的局部结构的椭圆的形状、尺寸和方向，就可以避免假象，得到较全面的卡通画效果。图4为Kyprianidis的多尺度各向异性Kuwahara滤波器的图像风格化结果。

（3）其他的抽象化风格化

       KANG H和LEE S[15]是第一次将扩散和冲激滤波结合起来应用于图像风格化。MCF（Mean Curvature Flow）使等照度曲线在垂直方向曲率速度的下面。MCF作为扩散方法，可以用规则的几何简化等照度曲线。与其他流行的边缘保护平滑技术相比，MCF平滑不仅保护区域边界切与颜色变化无关，而且简化边界的形状。然而，它也产生了模糊边缘，是KANG H和LEE S[15]用矢量场限制便利局部图像结构的扩散。

       数学形态学（MM）为图像分析和处理提供了集合论方法。MM的基本操作是膨胀和腐蚀，对于灰度图像，膨胀等同于最大化滤波，腐蚀相当于最小化滤波。衍生出来的操作是开运算和闭运算。按顺序采用开和闭运算会产生平滑操作，这样被称为形态学平滑。形态学平滑可应用于水彩画渲染，还可应用于渲染图像之前进行简化输入图像。

2 图像风格化应用

       图像风格化是非真实感绘制技术的一个分支，具有广泛的应用和市场前景，在数字娱乐行业如影视制作、家庭娱乐、数字游戏、广告宣传等多方面将产生巨大的经济价值。

       （1）影视制作。风格化视频在影视制作方面比真实感视频更具感染力，与传统影视作品相比，它具有引人入胜的视觉效果和令人叹为观止的音响效果。

       （2）计算机游戏。非真实感绘制技术可以让玩家拥有独特艺术风格的游戏界面，让游戏设计者通过风格化绘制和渲染技术可以将游戏中的情节更好地表现出来。这种方式具有广阔的市场前景。

       （3）卡通动画制作。在传统卡通动画制作过程中，需要大量的专业动画绘制师进行长期、艰苦的集体创作，耗时耗力。利用非真实感绘制技术可以大大缩短传统动画的制作周期，让创作者把更多的精力集中在创作上，进而提高动画产业的质量。

       本文主要介绍了图像风格化的非真实渲染方法，详细介绍了非真实感渲染的几种主要绘制方法，以及其应用领域，并对其优缺点进行了分析评论。

       图像风格化开辟了有别于真实感绘制方法的新道路，但并不一定是完美的，仍需要不断发展改进。今后如何衡量处理后的图像审美，怎样抓住图像的必要部分来进行抽象，如何进一步将艺术家的漫画方法解释为机器语言，如何加强非真实感绘制技术到人脸卡通化的移植工作，如何将特征点进一步组合成漫画特征，这些方面是以后研究中还要继续改进的方向。

参考文献

[1] KULKARN P． Interactive caricature generation using frontal photographs[D]． Kanpur： Indian Institute of Technology， 2002.

[2] 周仁琴，周经野，陈益强，等.基于特征发现的卡通人脸肖像生成[J].计算机辅助设计与图形学学报，2006，18（9）：1362-1366.

[3] 刘振安，刘瑄.基于SVG的卡通人脸图像自动生成法[J].测控技术，2006，25（5）：24-26.

[4] YANG C Y，  PAI T W，  HSIAO Y S， et al. Face shape classification for 2D caricature generation[C]. Proceedings of Workshop on Consumer Electronics， 2002：1-8.

[5] XU Z J， CHEN H， ZHU S C， et al. A Hierarchical compositional model for face representation and sketching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008（30）：955-969.

[6] KYPRIANIDIS J E， COLLOMOSSE J， WANG T， et al. State of the‘Art’： a taxonomy of artistic stylization techniques for images and video[J]. IEEE Transactions on Visualization and Computer Graphics， 2013，19（7）：866-885.

[7] HAEBERLI P. Paint by numbers： Abstract image representations[C]. Proceedings of SIGGRAPH， 1990：207-214.

[8] LITWINOWICZ P. Processing images and video for an impressionist effect[C]. Proceedings SIGGRAPH， 1997：407-414.

[9] Painterly rendering with curved brush strokes of multiple sizes[C]. Proceedings of SIGGRAPH， 1998：453-460.

[10] HAYS J， ESSA I. Image and video based painterly animation[C]. Proceedings of the 3rd international symposium on Non-photorealistic animation and rendering. ACM， 2004： 113-120.

[11] DECARLO D， SANTELLA A. Stylization and abstraction of photographs[C]. Proceedings of SIGGRAPH， 2002：

1221-1226.

[12] WINNEMOLER H， OLSEN S， GOOCH B. Real-time video abstraction[C]. Proceedings of SIGGRAPH， 2006： 1221-1226.

[13] PAPARI G， PETKOV N， CAMPISI P. Artistic edge and corner enhancing smoothing[J]. IEEE Transactions of Image Processing， 2007，16（10）：2449-2462.

[14] KYPRIANIDIS J E. Image and video abstraction by multi-scale anisotropic Kuwahara filtering[C]. Proceedings of NPAR， 2011：55-64.

[15] KANG H， LEE S. Shape-simplifying image abstraction[C].Computer Graph. Forum， 2008.