《电子技术应用》

一种基于仿射变换的SURF图像配准算法

2014年电子技术应用第6期 作者:刘 欣1,李校林1,2,谢 灿 2,何 鹏1
2014/8/12 16:38:00

        摘  要: 传统的SURF算法对仿射变化较大的图像配准效果差。为此,提出了一种仿射-加速鲁棒性特征(Affine-SURF)的图像配准算法,通过增加经度角和纬度角不变特征引入仿射形变参数来模拟图像在不同角度的变形。实验结果表明,与SIFT、SURF、MSER等配准算法相比,该算法能够获得更多特征匹配对,提高了算法对仿射变化的鲁棒性。

        关键词: SURF; 仿射; 图像配准; affine-SURF

 

        图像匹配技术是机器视觉和模式识别领域的一个重要分支,其应用领域广泛,如医学、目标识别跟踪、图像拼接等。目前,图像配准的方法大致分为两类:基于特征的图像配准方法和基于灰度的图像配准方法。其中,基于特征的匹配方法由于对不同特性的图像特征容易提取,且提取的特征点不易受到光照、旋转变化的影响,具有较强的稳定性和鲁棒性,因而得到广泛应用。

        1999年,LOWE D在总结现有特征算法的基础上提出了尺度不变特征变换SIFT(Scale Invariant Feature Transform)算法[1],并于2004年总结完善[2]。该算法提取的稳定特征点对旋转、亮度变化、尺度变化保持不变性,对视角变换、仿射变换也有一定程度的稳定性,因此在图像配准中得到了应用,如参考文献[3-4]将SIFT用于图像配准领域,除此以外也衍生了一系列改进算法,如利用主成分分析的PCA-SIFT[5]。但是SIFT本身始终存在抗仿射性弱以及计算效率低的缺点。针对以上缺点,BAY H等人于2008年提出了一种加速的鲁棒性特征SURF(Speeded Up Robust Feature)算法,该算法是对SIFT的一种改进方法,其性能在各方面接近或超越了SIFT算法,在保持性能的同时,计算速度是SIFT的3倍,参考文献[6]对此进行了比较详细的阐述。参考文献[7]提出了一种基于SURF和CamShift的物体跟踪方法,利用SURF算法找到跟踪窗口与初始窗口的色彩相似度,最终实现对物体的跟踪。

        尽管上述算法在特征描述和特征匹配方面取得了较好的效果,但是,这些算法并没有在仿射变换上得到更好的改进。针对这个问题,Random ferns[8]算法通过对以特征点为中心的子块进行仿射变换,利用像素比对信息构造快速分类器,在加快匹配速度的同时提高了对视角变化的鲁棒性。2009年,Jean-Michel Morel等人提出了ASIFT算法[9],该算法具有完全仿射不变性,能够解决SIFT和SURF在仿射性方面的缺陷,但ASIFT算法计算量复杂,难以在实时系统中使用。

        本文通过对以上算法的深入研究和总结,提出了一种基于仿射变换的SURF描述符。该算法利用透视投影模型来模拟成像过程,然后将仿射变换后的图像利用SURF算法进行匹配。通过3组不同类型图像的实验证明,本文算法比SIFT、SURF、MSER(Maximally stable extremal regions)[10] 算法要好。

1 SURF描述符

        SURF描述符的建立主要包括特征点检测与特征点描述两个主要步骤。

1.1 特征点检测

        假如给定图像I中的一个点x(x,y),则在x处,基于尺度空间Hessian矩阵H(x,y)定义为:

        在求得Fast-Hessian矩阵行列式的响应图像后,对空间3×3×3邻域内所有点进行非最大值抑制,将最值作为候选的特征点,然后采用线性插值法得到特征点的准确位置。

1.2 SURF特征点描述

        为了保证得到的特征矢量具有旋转不变性,需要为每一个特征点分配一个主方向。统计以特征点为中心,以6s(s为特征点尺度)为半径圆形区域内,利用Haar小波滤波器在x,y方向进行响应,并使用σ=2s的高斯加权函数对Haar小波进行高斯加权,离特征点越近响应贡献越大。然后,在60°的扇形区域内求出x和y方向上的系数之和,并构建一个新的向量,接着遍历整个圆形区域,选择最长向量方向为主方向。

        选定方向后,以特征点为中心,构建一个20σ×20σ的正方形窗,并沿主方向将方形窗分成4×4个子块,计算每个子块的dx、dy,并用高斯函数进行加权,得到每个子块的矢量V子块

        

        最后再对特征矢量进行归一化处理。

2 基于仿射变换的SURF描述符

         本文为了解决SURF仿射性能上的不足,在其基础上模拟了经度角和纬度角两个参数。

2.1 仿射模拟

        摄像机投影模型可以用描述为:

        

式中,u0表示平面数字图像; T和R表示由相机引起的平移和旋转变换;A表示仿射投影;G表示高斯视觉模型;S表示网格采样。u为最终获取的平面图像。

        为了简化该模型,结合相机的运动方式与仿射变换形式,可以得到如下定理。

        定理:  对于任意的仿射矩阵A可以分解为:

 

 

2.2 Affine-SURF描述符

        Affine-SURF描述符的建立过程如下:

        (1) 仿射采样获取参数φ和θ

        (3) 对输出的仿射图像进行特征点检测

        ①首先计算仿射图像的积分图像。积分图像I在X=(x,y)处的定义为:

        

        ②然后利用式(2),获得Fast-Hessian矩阵行列式,并得到响应图像。

        ③接着采用最大值抑制搜索技术,在位置和尺度上对响应图像进行特征点搜索。

        ④对得到的特征点分配方向。

        (4) 构造Affine-SURF描述符

        通过计算图像的Haar小波响应,然后统计∑dx,∑d|x|,∑dy,∑d|y|来形成特征矢量。

        经过以上步骤就得到了具有较强仿射性能的Affine-SURF描述符。

3 基于仿射变换的SURF图像配准

        得到Affine-SURF描述符后,用其进行特征匹配。本文中,首先采用比值提纯法进行特征点粗匹配,接着采用鲁棒性较强、可靠性好的RANSAC算法[11]进一步提纯,得到最终的匹配对。

4 实验与结果分析

        本文在VS2010平台上验证该算法的性能。实验的评价指标为图像在不同仿射情况下获取的正确匹配对数目。

        第一组实验主要分析弱视角变化对算法的影响。以图1为例,图像Box由于相机的视角变化,存在着旋转、弱透视形变等现象,图1(c)~图1(f)分别为SIFT、MSER、SURF和Affine-SURF算法的匹配结果,它们的匹配结果如表1所示。通过对比正确匹配对的数目可以看出,Affine-SURF有效地克服了视角变化对特征提取与描述的影响。

        第二组实验主要用来评价不同算法在尺度变化方面的鲁棒性。以图2为例,图像Book由于拍摄高度不同,导致出现尺度变化。从图2(c)~图2(f)以及表1可以看出,Affine-SURF算法有较好的匹配效果,而且比其他3种算法能够获取更多特征点。这说明Affine-SURF能够在尺度变化明显的情况下获得更多正确的匹配点。 

        第三组实验主要用来验证算法在仿射形变较大情况下的性能。以图3为例,图像People由于旋转、视角变化过大,导致仿射形变明显。图3(c)~图3(f)分别为SIFT、MSER、SURF和Affine-SURF算法的匹配结果,结合表1可以看出,采用本文提出的Affine-SURF算法找到的正确匹配特征点最多,证明了该算法对大视角变化的仿射图像匹配鲁棒性最好。

        SIFT、SURF图像配准算法已经被验证对于尺度变化、旋转、亮度变化具有较好的不变性,但是它们不具有很好的仿射性。因此,本文提出一种基于仿射变换的SURF图像配准算法。通过3组不同图像类型的实验结果表明,采用本文算法比SIFT、SURF、MSER算法能够得到更多的正确匹配点,更好地提高算法的仿射鲁棒性。

参考文献

[1] LOWE D. Object recognition from local scale-invariant features[C]. In: Proceedings of the 7th IEEE International Conference on Computer Vision, Corfu,US: IEEE,1999:1150-1157.

[2] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004,60(2):91-110.

[3] Zhao Wanglei, NGO C W. Flip-invariant SIFT for copy and object detection[J]. Image Processing, IEEE,2013,22(3):980-991.

[4] 张瑞年.联合时空SIFT特征的同源视频检测[J].电子技术应用,2012,38(3):130-133.

[5] JUAN L,GWUN O. A comparison of SIFT, PCA-SIFT and SURF[J]. International Journal of Image Processing (IJIP),2009,3(4):143-152.

[6] BAY H,ESS A,TUYTELAARS T,et al. Speeded up robust features(SURF)[J].Computer Vision and Image Understand ing(CVIU),2008,110(3):346-359.

[7] 路宁.基于SURF和CamShift的物体跟踪方法[J].微型机与应用,2012,31(27):40-43.

[8] OZUYSAL M, CALONDER M, LEPETIT V, et al. Fast keypoint recognition using random ferns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(3):448-461.

[9] MOREL J M, YU G S. ASIFT: a new framework for fully affine invariant image comparison[J]. SIAM Journal on Image Sciences,2009,2(2):438-469.

[10] MATAS J, CHUM O, URBAN M, et al. Robust widebaseline stereo from maximally stable extremal regions[J]. Image and Vision Computing,2004,22(10):761-767.

[11] FISCHLER M A,BOLLES R C. Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.

继续阅读>>