摘  要： 无人机低空拍摄的图像具有成本低、方便快捷的优点，但也存在重叠度高、覆盖范围小等问题，需通过图像拼接来获得更大范围的图像。目前，无人机图像拼接效率不高。针对此问题，提出了一种结合Harris与SURF算法优点的改进Harris-SURF算法，并将该算法应用于无人机图像的自动配准；采用加权平滑融合算法消除亮度差异，较好地实现了无人机图像的无缝拼接。实验结果表明，该算法在效率方面较SURF算法有较大提高，对存在旋转、光照及视角变化的图像均有较好的匹配效果，实现了无人机图像的快速拼接。

　　关键词： 无人机；Harris；SURF；图像匹配；图像拼接

　　无人机UAV（Unmanned Aerial Vehicle）具有运行简单、反应迅速、飞行灵活、成本低等优点，已被广泛应用于抗灾救灾、军事侦察、海上监测、环境保护和土地动态监测等领域[1-2]。受飞机飞行高度和相机焦距的限制，无人机图像具有数量多、像幅小、重叠度高、航带多等特点，为了得到整个测区的全景图像，图像的快速自动拼接成为必不可少的一步[1-3]。

　　图像拼接是指将具有一定重叠区域的两幅或多幅图像进行无缝连接，以获得更高分辨率和更宽视场的图像[4]。图像拼接主要包括图像配准和图像融合两部分，其中图像配准是其核心。目前，图像配准主要采用基于灰度信息和基于图像特征两类算法。基于灰度信息的算法包括归一化互相关匹配[5]、模板匹配等，该算法实现简单，但计算量大，尤其是存在平移、旋转、缩放等图像畸变时，该算法性能急剧下降。基于特征的匹配算法主要有轮廓、矩、点等，由于点特征对图像的平移、旋转、分辨率、光照等具有不变性，因此广泛应用于图像配准，如Harris算法、SUSAN算法等。2004年，LOWE DG等人[6-7]提出的SIFT（Scale Invariant Feature Transform）算法得到的特征点稳定性好，且对旋转、光照改变等情况具有较好的适应性，但该算法也存在计算数据量大、时间复杂度高等问题。针对以上问题，Ke Yan等人[8]提出用PCA-SIFT方法降维特征描述数据；DELPONTE E等人[9]提出基于SVD的特征匹配方法；GRABNER M[10]等人用积分图像提高计算速度；BAY H等人[11]提出的SURF（Speeded Up Robust Features）算法速度明显快于SIFT。这些算法虽然提高了运算速度，但仍难满足应用需要。

　　为提高无人机图像拼接速度，本文提出一种改进Harris-SURF的图像拼接算法。首先利用改进的Harris算子提取特征点，再用SURF算法生成64维特征向量，然后用最近邻匹配法得到匹配对，再利用RANSAC剔除误匹配对并求解图像间的透视变换矩阵，最后使用加权平滑法融合图像以实现图像的无缝自动拼接。为提高Harris特征点的稳定性，本文在Canny算子边缘图像上提取角点以限制其出现的位置，同时通过限制其个数来提高特征描述及匹配效率。

1 Harris算子和SURF算法

　　1.1 Harris算子

　　HARRIS C和STEPHENS M J[12]提出的Harris算子具有计算简单、可定量提取特征点、提取的角点均匀稳定等特点。定义矩阵Ｍ：

　　Ｍ=G?茚Ix2  IxIyIxIy  Iy2 ->R-1λ1  00  λ2R（1）

　　其中，Ix是图像I在x方向的梯度，Iy是图像I在y方向的梯度，G为高斯模板，?茚为高斯模型和函数卷积，R是旋转因子，λ1、λ2是矩阵的两个特征值。

　　角点响应函数CRF定义为：

　　CRF=det（M）-Ktr2（M）（2）

　　det（M）=λ1λ2=Ix2Iy2-（IxIy）2（3）

　　tr（M）=λ1+λ2=Ix2+Iy2（4）

　　其中，det为矩阵的行列式；tr为矩阵的迹（矩阵对角线的和）；K为经验值，一般取0.04~0.06。若某点的CRF值大于设定的阈值T时则为角点。

　　1.2 SURF算法

　　SURF算法[11]利用盒子滤波、积分图像及Haar小波加速算法，该算法包括5个步骤：（1）建立尺度空间，确定极值点位置；（2）剔除不稳定极值点，精确确定特征点位置，提高匹配的稳定性和抗噪能力；（3）计算特征点主方向，使其具备旋转不变性；（4）提取特征点描述符，生成SURF特征向量；（5）利用特征描述符寻找匹配点。

　　1.2.1 构建尺度空间检测极值

　　SURF算法利用盒子滤波构建尺度空间，并用积分图像来加速卷积以提高计算速度。SURF算法尺度空间金字塔的最底层利用一个大小为9×9的盒子滤波得到，为保证盒子滤波的结构不变，后面的盒子滤波大小至少要有6个像素步长的变换，即第一层为9×9，第二层最小为15×15。式（5）为当前大小的盒子滤波对应的高斯尺度值的计算公式：

　　其中，N表示当前的盒子滤波尺寸。

　　若要构建4度4层的尺度空间，如图1所示，最低层的盒子滤波器的大小为9×9，各层中盒子滤波器的大小变化分别为6、12、24、48。

　　为了寻找尺度空间中的极值点，每一采样点需要与它同尺度的8个相邻点及上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间均检测到极值点。若采样点为最大或最小值，则该点是图像在该尺度下的一个极值点。

　　1.2.2 确定特征点位置

　　得到极值点后需要消除不稳定的极值点，以确定特征点的位置。在SURF算法中利用一个近似det（H）的  ?驻（H）确定特征点的位置：

　　?驻（H）=DxxDyy-（0.9Dxy）2（6）

　　若?驻（H）为正，则该点为一个特征点。

　　SURF算法具有较强的鲁棒性，但时间复杂度较高。为了分析SURF耗时情况，对一张480×360的图片进行实验，共检测特征点592个。为分析特征个数对运算时间的影响，通过人为设定检测到200个特征点就终止检测，使其继续实现后续步骤。各步耗时情况如表1所示。

　　从表1可以看出，SURF耗时主要在构建尺度空间检测特征点和特征描述上，而且特征点数直接影响特征描述速度。对于大旋转、小尺度缩放的图像拼接应用，可采用一种能快速检测到稳定特征点的方法减少特征检测时间。对于特征描述耗时长问题，则可通过提高特征点的稳定性来降低个数，从而有效地提高运算速度。本文将在Canny算子边缘图像上使用改进的Harris算法检测特征点以提高特征的稳定性和检测速度。

2 改进的Harris-SURF算法

　　2.1 改进的Harris算子

　　对于经典的Harris算子，其稳定性与K有关，但K是个经验值。为此，改进的Harris方法不计算Harris响应函数而直接计算λ1、λ2两个特征值。对于一个点，若M的特征值λ1、λ2有：

　　min（λ1，λ2）>λ（7）

　　则该点为角点。其中，λ是一个预定阈值。

　　为使角点分布均匀，改进的方法不再用非极大值抑制，而选取容忍距离：对于两个候选角点I1（x，y）和I2（x，y），若其距离d12>dt（dt为容忍距离），则两点均为角点，否则舍弃后者，即容忍距离内只有一个角点。

　　在上面的实验中已知，特征点越多，特征描述时间越长，而对于图像匹配，只需适量的特征点便可实现。为避免不必要的计算，可将角点min（λ1，λ2）>λ从大到小排列，即：

　　max（min（λ1，λ2））（8）

　　顺序选取角点，当角点数满足预先设定个数则停止检测。

　　2.2 SURF特征描述

　　2.2.1 计算特征点主方向

　　为了提高鲁棒性，SURF算法利用了Haar小波。首先以特征点为圆心，以6δ为半径做圆，在这个圆形区域内计算其中的点在x方向和y方向上大小为4δ的Haar小波响应，其中δ表示特征点所在的尺度空间的尺度值。然后对这些响应加权值，使距离特征点越近的响应具有越大的权重值，而距离特征点越远的响应具有较小的权重值。最后以60°范围为一个区域遍历整个圆形区域，可得到6个扇形区域。把每个区域内的响应相加形成一个新的矢量，在6个新的矢量中找到模值最大的矢量，把其方向作为该特征点的主方向，如图2所示。这样就得到了SURF特征点的主方向，同时也保证了SURF特征的旋转不变性。

　　2.2.2 生成SURF特征描述符

　　生成SURF特征描述符首先需把坐标轴旋转到SURF特征的主方向，再以特征点为中心构造一个20δ×20δ的正方形窗口，其中δ为特征点所在尺度空间的尺度值。以5×5大小为一个小块划分窗口，计算每个小块中采样点相对于主方向水平与垂直方向的Haar小波的响应，把每一个小块中的25个采样点的响应值及其绝对值分别进行累加，所得结果记为dx，dy，|dx|，dy。这样，每一子区域就形成一个4×4×4=64维的向量，对其归一化去除亮度变化的影响，就得到了SURF特征的描述符。

　　2.2.3 特征点匹配

　　常用的特征匹配方法有相似性度量法、不变距、相关系数法、Hausdorff距离、各种距离度量值等。本文采用向量的最近邻匹配法匹配特征，并用简单有效的欧式距离准则作为特征匹配的相似性度量准则，利用K-D树搜索每一个特征点的欧氏距离最近邻特征点和次近邻特征点。设特征点p的最近特征点为q，次近特征点为q′，分别计算p与q的欧氏距离d1及p与q′的欧氏距离d2。r为d1与d2的比值，若r小于阈值T，则（p，q）是一个匹配的特征点对。阈值T一般取0.4~0.6，为保证匹配对的稳定性，本文取T=0.5。

　　2.3 透视变换

　　利用最近邻匹配法得到的匹配对必然存在误匹配对，需要提纯匹配对并求解图像间的变换模型参数以实现图像配准。消除误匹配对的方法主要有霍夫聚类法、最小中位数法和RANSAC[13]（Random Sample Consensus）等，本文采用RANSAC算法。对于图像间的变换模型，本文则用透视变换表示。设I1和I2分别为待拼接的两幅图像，点（x，y）和点（x′，y′）为这两幅图上的一个匹配点对，根据透视变换模型有：

　　x′y′1=m0  m1  m2m3  m4  m5m6  m7  1xy1（9）

　　模型变换参数矩阵M一共有8个参数，只要知道4对任意3点不共线的特征点就可求出矩阵M。

　　利用RANSAC算法[13]和八参数模型估计方法计算变换模型参数矩阵步骤如下：（1）在特征点对中随机抽取4对任意3点不共线的特征点对，如果存在3点共线的情况则重新选取，直到不存在3点共线的情况为止；（2）利用最小二乘法根据步骤（1）选取的4对匹配特征点求出变换模型的参数矩阵；（3）计算出所有匹配点对的距离d，当d小于阈值时，这对匹配特征点为内点，并记录下内点的个数n，若d大于阈值则此对匹配特征点为外点；（4）重复步骤（1）~（3），直到内点的数目n足够大为止，把具有最大内点数目n的模型作为最后的计算结果，并记录下所有内点的位置。

3 图像融合

　　对配准后的图像进行融合就可得到全景图像。因为图像间一般存在亮度差异，拼接后的图像会出现明显的亮度变化，所以需要处理缝合线。图像拼接缝合线处理方法较多，如多分辨率样条技术、颜色插值等。为实现快速拼接，本文采用简单快速的加权平滑融合算法。该算法的主要思想是：图像重叠区域中像素点的灰度值由两幅图像中对应点的灰度值加权得到。设f1（x，y）和f2（x，y）分别是待融合的两幅图像，则融合结果图像F（x，y）的像素值通过式（10）求解。

　　F（x，y）=f1（x，y）                （x，y）∈f1kf1（x，y）+（1-k）f2（x，y） （x，y）∈f1∩f2 f2（x，y）                （x，y）∈f2（10）其中，k是可调因子，0<k<1。本文令k=d1/（d1+d2），其中d1、d2表示重叠区域中的点到两图像重叠区域左、右边界的距离，即重叠区域像素值为：

　　F（x，y）=f1（x，y）+f2（x，y）（11）

4 实验结果与分析

　　本实验环境为：Pentium Dual-Core E5500 2.80 GHz CPU、2 GB内存的PC，Windows XP操作系统，VC++6.0，OpenCV1.0。本文选取两组存在旋转、光照差异和尺度缩放的480×360尺寸的图像进行实验。

　　图3和图4为特征匹配结果，其中图3（a）和图4（a）为SIFT算法匹配结果，图3（b）和图4（b）为SURF算法匹配结果，图3（c）和图4（c）为本文算法匹配结果。可以看出这4种算法对旋转、光照和较小尺度缩放均有一定的鲁棒性，但得到的匹配对数有较大差异，经过RANSAC提纯处理的匹配结果较精确。

　　表2和表3分别为图3和图4匹配实验的统计数据，其主要记录了3种算法得到的特征点数、匹配对数及各阶段耗时情况。可以看出，基于SIFT的图像配准得到的特征点数、匹配对数众多，但耗时较长；基于SURF的图像配准得到的特征点数、匹配对数较SIFT算法有所减少，但运算速度明显提高；本文提出的改进Harris-SURF图像配准算法采用Harris算子提高了特征检测速度，通过限制Harris角点个数（综合考虑算法准确性及速度，本文取为200）使生成SURF特征描述符阶段速度明显提高，较少的特征点也使得特征匹配阶段速度加快，从而缩减了整个图像配准时间。虽然较少的特征点减少了匹配对，但仍能准确求得图像间的变换参数。在整个配准过程中，本文提出的图像配准方法运行速度快，在保证正确匹配的前提下大幅提高了运算速度。

　　图5为用本文算法进行图像拼接的结果，5（a）为待拼接3张原无人机图像，其中前两张是匹配实验中的原图，尺寸均为480×360。首先采用本文提出的算法配准图像，再用加权平滑算法融合图像，其结果如图5（b）所示。从图5（b）可以看出，本算法较好地完成了图像的无缝拼接，有效扩大了测区范围。

　　本文将Harris与SURF算法结合应用于无人机图像拼接。通过改进的Harris算法对Canny算子边缘图像进行特征点提取，有效地限制了特征点出现的位置，从而提高了Harris角点的稳定性；利用SURF特征描述方法减小了图像旋转和光照的影响，同时通过限制角点个数提高了特征描述及匹配效率；结合RANSAC算法提纯匹配对，准确求解透视变换模型参数；采用加权平滑算法消除亮度差异，实现了对无人机图像的无缝拼接。实验证明，本方法准确实现了无人机图像拼接，更大幅提高了运算速度，为解决无人机图像拼接问题提供了一种新的快速有效的方法。

　　参考文献

　　[1] 王晓丽，戴华阳，余涛，等.基于多分辨率融合的无人机图像拼接匀色研究[J].测绘通报，2013（4）：27-30.

　　[2] 袁媛，李冬梅，田金炎，等.无人机序列影像快速无缝拼接方法研究[J].计算机工程与应用，2013，49（17）：139-142.

　　[3] 刘如飞，刘冰，卢秀山，等.无人机原始影像快速拼接系统的设计与实现[J].测绘科学，2013，38（5）：170-171，182.

　　[4] 尹衍升，赵秀阳，田晓峰，等.基于特征点提取的复合材料显微图像自动拼接[J].科学通报，2006，51（22）：2695-2698.

　　[5] Zhang Zhengyou， DERICHE R， FAUGERAS O， et al. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry[J]. Artificial Intelligence， 1995（78）：87-119.

　　[6] LOWE D G. Object recognition from local scale-invariant features[C]. International Conference on Computer Vision， 1999：1150-1157.

　　[7] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

　　[8] Ke Yan， SUKTHANKAR R. PCA-SIFT： a more distinctive representation for local image descriptors[C]. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2004：511-517.

　　[9] DELPONTE E， ISGRO F， ODONE F， et al. SVD-matching using SIFT features[J]. Graphical Models， 2006（68）：415-431.

　　[10] GRABNER M， GRABNER H， BISCHOF H. Fast approximated SIFT[C]. Proceedings of Asian Conference on Computer Vision， 2006：918-927.

　　[11] BAY H， TUYTELAARS T， GOOL L V. SURF： speeded up robust Features[C]. Proceedings of the European Conference on Computer Vision， 2006：404-417.

　　[12] HARRIS C， STEPHENS M. A combine dcorner and edge detector[C]. Processings Fourth Alvey Vision Conference， 1988：147-151.

　　[13] FISCHLER M A， BOLLES R C . Random sample consensus： A Paradigm for model fitting with apphcatlons to image analysis and automated cartography[J]. Graphics and Image Processing， 1981， 24（6）：381-395.