《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > UAV/UGV协同环境下的目标识别与全局路径规划研究
UAV/UGV协同环境下的目标识别与全局路径规划研究
2019年电子技术应用第1期
席阿行,赵 津,周 滔,胡秋霞
贵州大学 机械工程学院,贵州 贵阳550025
摘要: 针对单独机器人难以执行复杂环境中任务的问题,Unmanned Air/Ground Vehicle(UAV/UGV)协同系统近年来受到了广泛关注。为了提高执行任务的工作效率,提出一种基于视觉传感器下UAV/UGV协同系统中UAV目标识别下UGV全局路径规划的方法,无人机利用高空视野优势获取目标物与环境信息, SURF算法和图像分割实现环境建模。无人车根据无人机获取的信息,利用优化的A*算法完成全局路径规划,并且在典型搜救场景中进行了仿真验证。实验表明,SURF算法能满足目标识别的精确度、实时性和鲁棒性;并且利用优化的A*算法实现了UGV快速准确的全局路径规划。
中图分类号: TP273
文献标识码: A
DOI:10.16157/j.issn.0258-7998.182261
中文引用格式: 席阿行,赵津,周滔,等. UAV/UGV协同环境下的目标识别与全局路径规划研究[J].电子技术应用,2019,45(1):5-9.
英文引用格式: Xi A′xing,Zhao Jin,Zhou Tao,et al. Target searching and global path planning in UAV/UGV cooperative systems[J]. Application of Electronic Technique,2019,45(1):5-9.
Target searching and global path planning in UAV/UGV cooperative systems
Xi A′xing,Zhao Jin,Zhou Tao,Hu Qiuxia
Department of Mechanical Engineering,Guizhou University,Guiyang 550025,China
Abstract: It is difficult for a single robot to perform tasks in a complex environment, so Unmanned Air/Ground Vehicle(UAV/UGV) cooperative systems have been widely concerned. In order to improve the efficiency of UAV/UGV cooperative systems, a global path planning for UGV under the target recognized by UAV was proposed. Firstly, SURF algorithm was studied in identify targets and image segmentation was applied to build a map. Then, the optimized A* algorithm was proposed in global path planning for UGV based on the information acquired by UAV. Finally, simulations were performed in a typical rescue scenario. Experiments show that SURF algorithm can achieve the accuracy, real-time and robustness of target recognition. The optimized A* algorithm can achieve the feasibility and real-time of global path planning.
Key words : UAV/UGV cooperation systems;target recognition;global path planning;SURF algorithm;optimized A* algorithm

0 引言

    单独的无人机(UAV)与单独的无人车(UGV)在工作方式、搭载传感器等方面存在显著不同,在感知、负载、速度、视野获取等方面也有很强的互补性。图1为典型的UAV/UGV协同系统,图2为不同视角下获取的环境信息,由图可知UGV由于视野缺陷难以获取障碍物信息,相反UAV在广阔的视野下可以获取障碍物信息,这样使得UAV/UGV协同系统在执行目标跟踪与救援、军事边境监视等任务时发挥着显著的作用[1-2]。但是由于环境与任务的复杂性,仍然存在感知、决策和执行三个方面的问题需要解决。

rgzn1-t1.gif

rgzn1-t2.gif

    UAV/UGV协同系统中环境感知主要解决目标识别与定位问题。其中视觉传感器是解决感知问题的重要手段。CHAIMOWICZ L等[3]搭建了UAV/UGV协同系统框架以及基于视觉的目标检测与定位算法。中科院谷丰等[4]探索了利用空地机器人实现协作导航的方法,基于YCbRc颜色空间对动目标检测并利用波门跟踪器实现了对地面机器人的跟踪,但是仅在室内环境中验证了该方法。

    在UAV/UGV协同系统的UGV路径规划研究中,GANESHMURTHY M S[5]提出了一种面向启发式的方法来搜索可行的初始路径,拟解决动态环境问题。ZHAO J等人[6]提出改进人工势场法,实现了UGV路径规划。但是,人工势场法对于不同障碍物要设不同的目标函数。

    为了提高UAV/UGV协同系统执行任务的效率,本文提出一种基于视觉传感器下目标识别与全局路径规划方法,主要工作包括:(1)UAV用高空视野获取环境信息,实现目标物的定位与障碍物的识别;(2)根据UAV获取的环境信息,提出优化A*算法,实现无人车全局路径规划;(3)分别在简单与复杂环境下验证了所提出算法的正确性。

1 典型场景构建和环境建模

1.1 典型场景构建

    UAV/UGV协同系统可以执行人类难以接近的复杂场景。以典型的救援场景为研究对象,如图3所示,起点(UGV)为无人车,终点(D)为目标物(搜救物),中间其他的视为障碍物。

rgzn1-t3.gif

1.2 复杂环境中的目标识别

    为了获取搜救的目标物,环境感知的首要任务是目标识别。目标识别如图4所示。

rgzn1-t4.gif

1.3 图像处理

    图像处理是为了减少噪声、污染等因素对目标识别准确性的干扰[7]

1.3.1 图像灰度化

    灰度化处理是将RGB模型加权平均的方法[8]。其中Wr、Wg、Wb分别为R、G、B的权值。为了符合人类视觉的灰度值,Wr=0.3,Wg=0.59,Wb=0.11。

    rgzn1-gs1.gif

1.3.2 提取环境中目标物

    SURF(Speeded Up Robust Features)算法在特征提取匹配算法中针对图像平移、旋转、噪声影响等具有较强的鲁棒性[9-10]

rgzn1-gs2.gif

    SURF算法仿真结果如图5所示。上述实验结果可用于后续任务UGV的路径规划中。

rgzn1-t5.gif

1.3.3 基于HSV空间的障碍物识别

    (1)空间转化。UAV搭载的视觉传感器采集的环境信息极易受到光线变化的影响,因此,采用HSV色彩空间模型[11]

    (2)图像二值化。为了更好地反映障碍物的信息,对UAV获取的图像进行二值化处理。图像二值化是将障碍物表达为1,图像背景表达为0。

     rgzn1-gs3.gif

其中,f(x,y)为图像灰度值,T为灰度值阈值。图像在HSV空间下二值化如图6所示。

rgzn1-t6.gif

    根据SURF算法与图像分割技术,上述图像通过坐标系可转化为UGV可执行的地图信息。UGV地图信息如图7所示。

rgzn1-t7.gif

2 坐标转化

    UAV获取的是以像素为单位的环境信息,为了实现UGV的全局路径规划,需要将像素坐标系转化为世界坐标系[12]。其中主要坐标系如图8所示,O0uv为像素坐标系,O1X1Y1Z1为图像坐标系,OcXcYcZc为相机坐标系(无人机坐标系),OGXGYGZG为无人车坐标系,OwXwYwZw为世界坐标系。

rgzn1-t8.gif

2.1 UAV的坐标系转化

    UAV的运动为三维空间中刚性运动,为了避免相机运动产生误差,相机坐标系简化为无人机坐标系,获取的图像像素坐标在世界坐标系中的齐次方程为:

    rgzn1-gs4.gif

其中,Z为P点在相机坐标系的位置,Puv为P点的像素坐标系,K为相机内参数矩阵,R1为旋转矩阵,t1为平移向量,Pw为P点的世界坐标系。

2.2 UGV的坐标系转化

    UGV在平面内的运动是在世界坐标系中的旋转与平移变化,齐次方程如下:

    rgzn1-gs5.gif

其中,R2为UGV到世界坐标系的旋转矩阵,t2为UGV到世界坐标系的平移向量。通过坐标系转化实现车辆的自主导航。

3 UGV的全局路径规划

    无人车的路径规划根据环境信息可以分为局部路径规划与全局路径规划。相对于局部路径规划,全局路径规划具有明显的优势。本文首先分析对比了典型的全局路径规划双向快速扩展随机树算法(BRRT)与A*算法,最后优化了A*算法。

3.1 双向快速扩展随机树(BRRT)

    BRRT算法实现是在RRT算法基础上。基本思想如图9所示,由一个度量函数、随机采样算法和组态空间所组成[13]。寻找从起点qinit到目标qgoal的可行路径。

rgzn1-t9.gif

3.2 A*算法

    A*算法是用已知信息构造启发函数,要求满足距离最近等指标,在规划路径时对运动点进行指标评价[14]。A*算法的函数为:

    rgzn1-gs6.gif

其中,f(n)是从起始点到目标点的评价函数,g(n)是启发函数,h(n)是从起始点到n点的实际代价。

3.3 优化的A*算法

    虽然A*算法实现了UGV的全局路径规划,但是A*算法设计出的路径在拐点处有明显的尖峰与波动,在实际环境中UGV无法实现路径跟踪[15]。考虑到UGV自身运动与动力学约束,本文提出优化A*算法,将路径出现拐角的地方利用梯度法作平滑处理。其基本原理是使Z取得最小值。

rgzn1-gs7-8.gif

4 仿真研究与结果分析

4.1 简单的实验场景仿真

    首先用UAV获取简单的实验场景,经过图像处理获取UGV规划地图,如图10所示。

rgzn1-t10.gif

    用上述UAV获取的地图对提及的全局路径规划算法进行了20组实验,取相同的起点(50,650)与相同的终点(650,50)用MATLAB进行仿真验证。实验结果如图11与表1所示。

rgzn1-t11.gif

rgzn1-b1.gif

    仿真结果表明:A*算法相对于BRRT算法路径来说路径平均距离短,实时性更优;优化的A*算法相对于A*算法来说虽然平均时间增加了一点,但是优化的A*算法路径平均距离更短,优化了所有的拐点,更适合UGV跟踪。因此优化的A*算法可以实时地规划出无碰撞、路径较短的路径。

4.2 复杂的实验场景应用

    为了进一步确定提出的UAV/UGV协同环境下的目标识别算法与全局路径规划算法,在实际更复杂环境中采用SURF算法进行图像分割能实现地图建立,如图7所示。将提出的优化A*算法在上述地图中应用,实验结果如图12、图13和表2所示所示。

rgzn1-t12.gif

rgzn1-t13.gif

rgzn1-b2.gif

    上述结果表明优化的A*算法优化了路径的拐点,可以实现UGV路径跟踪。

5 结束语

    针对无人机与无人车协同系统中的关键研究点:目标定位与障碍物识别、路径规划,本文利用UAV/UGV协同系统中UAV的视野优势,验证了SURF算法在识别目标物有很强的鲁棒性,建立了UGV可执行的地图;在简单环境中对比了全局路径规划算法的实时性与最优性,验证了提出的优化A*算法更适合于无人车跟踪;最后将提出的UAV/UGV协同环境下的目标识别与全局路径规划应用于复杂的实际环境中。实验表明,所提出的方法可以提高UAV/UGV协同系统执行任务的效率,为后续UAV/UGV协同系统下的各种任务规划和研究工作提供了基础条件。

参考文献

[1] KIM J, KIM Y.Moving ground target tracking in dense obstacle areas using UAVs[J].IFAC Proceedings Volumes,2008,41(2):8552-8557.

[2] TANG Z,OZGUNER U.Sensor fusion for target track main-tenance with multiple UAVs based on Bayesian filtering method and Hospitability Map[C].IEEE Conference on Decision and Control,2003.Proceedings.IEEE,2004,1:19-24.

[3] CHAIMOWICZ L,COWLEY A,GOMEZ-IBANEZ D,et al.Deploying air-ground multi-robot teams in urban environ-ments[M].Multi-Robot Systems.From Swarms to Intelligent Automata Volume III.Springer Netherlands,2005:223-234.

[4] 谷丰,王争,宋琦,等.空地机器人协作导航方法与实验研究[J].中国科学技术大学学报,2012,42(5):398-404.

[5] GANESHMURTHY M S,SURESH G R.Path planning algorithm for autonomous mobile robot in dynamic environment[C].International Conference on Signal Processing,Communication and Networking.IEEE,2015:1-6.

[6] HU Q,ZHAO J,HAN L.Cooperative path planning for intelligent vehicle using unmanned air and ground vehicles[C].Chinese Intelligent Systems Conference.Springer,Singapore,2017:603-611.

[7] 陈明生.图像配准技术研究与应用[D].长沙:国防科学技术大学,2006.

[8] SHI Q,ZHAO J,HAN L,et al.Dynamic lane tracking system based on multi-model fuzzy controller[C].IEEE International Conference on Mechatronics and Automation.IEEE,2016:873-877.

[9] 石雅笋.改进的SURF图像配准算法研究[D].成都:电子科技大学,2011.

[10] 陈小丹,杜宇人,高秀斌.一种基于SURF的图像特征点快速匹配算法[J].扬州大学学报(自然科学版),2012,15(4):64-67.

[11] 周榆丰.天车吊运系统中运动目标识别与匹配方法研究[D].唐山:河北联合大学,2014.

[12] 朱玮.基于视觉的四旋翼飞行器目标识别及跟踪[D].南京:南京航空航天大学,2014.

[13] 刘成菊,韩俊强,安康.基于改进RRT算法的RoboCup机器人动态路径规划[J].机器人,2017,39(1):8-15.

[14] 杨占龙.基于特征点的图像配准与拼接技术研究[D].西安:西安电子科技大学,2008.

[15] Zhang Qifei,Guo Tailiang.Global path planning algorithm of robot based on multistage decision[J].Computer Engineering,2016,42(10):296-302.



作者信息:

席阿行,赵  津,周  滔,胡秋霞

 (贵州大学 机械工程学院,贵州 贵阳550025)