《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > 交通场景中的实时多目标自动跟踪算法
交通场景中的实时多目标自动跟踪算法
2015年电子技术应用第10期
隋修武,田 松,余保付,葛 辉
(天津工业大学 机械工程学院 天津市现代机电装备技术重点实验室,天津300387)
摘要: 针对交通场景中多目标跟踪过程中实时性和鲁棒性的问题,提出一种基于混合高斯和稀疏光流的多目标自动跟踪算法。该算法利用自适应背景差分法提取前景目标,用特征点对目标进行表达,通过稀疏光流算法建立起前后帧间的数据关联,并通过模版更新机制来降低可能的较大形变带来的干扰。实验结果表明,该算法适用于多数交通场景,实时性较好,对光照和噪声都具有很强的鲁棒性,可以实现对多目标的准确而又稳定的跟踪。
中图分类号: TP391.4
文献标识码: A
DOI:10.16157/j.issn.0258-7998.2015.10.038

中文引用格式: 隋修武,田松,余保付,等. 交通场景中的实时多目标自动跟踪算法[J].电子技术应用,2015,41(10):139-142,146.
英文引用格式: Sui Xiuwu,Tian Song,Yu Baofu,et al. Real time multi-objects automatic tracking algorithm in traffic scene[J].Application of Electronic Technique,2015,41(10):139-142,146.
Real time multi-objects automatic tracking algorithm in traffic scene
Sui Xiuwu,Tian Song,Yu Baofu,Ge Hui
Tianjin Key Laboratory of Advanced Mechatronics Equipment Technology, School of Mechanical Engineering,Tianjin Polytechnic University,Tianjin 300387,China
Abstract: To address the issue of real-time and robustness to the multi-objects detection and tracking technology in traffic scene, this paper presentes a real time multi-objects automatic tracking algorithm base on Gaussian mixture and sparse optical flow. Moving targets were extracted by adaptive background subtraction algorithm and feature points were used to express targets. Then it established the data association between correlating frames by sparse optical flow algorithm. And it used the template update mechanism to deal with the problem of the big deformation. Experimental results show that the proposed method can be applied to most traffic scenes. It is robust to light and noise and can realize accurate and stable tracking of multi targets.
Key words : multi-objects tracking;Gaussian mixture;sparse optical flow;template update

 

0 引言

  随着城市化进程的加快,交通状况日益恶化,基于视频的检测和跟踪逐渐成为受到关注的研究领域。目前目标跟踪技术的难点有数据的关联问题、颜色的相似性、背景的稳定性和复杂性、目标尺寸的变化和实时性等[1-2]。目标跟踪常用的方法有:基于颜色特征的Meanshift和Camshift[3-4],基于贝叶斯估计的卡尔曼滤波[5],基于蒙特卡洛方法的粒子滤波[6-7],还有基于光流计算的光流跟踪[8-9]。然而在跟踪的过程中,如果目标与背景颜色相近或目标之间颜色相近,则基于颜色特征的跟踪方法会失效;实际场景中目标的运动比较复杂,而卡尔曼滤波器要求目标具有线性高斯运动的特性,因此跟踪效果不理想;粒子滤波在跟踪多目标时,实时性是一个突出的问题,时间开销会随着目标数的增多而呈指数性增长;光流分为稠密光流和稀疏光流,而稠密光流需要计算图像中的所有像素点,效率低。

  针对以上问题,提出一种结合混合高斯模型和稀疏光流的多目标跟踪算法。

1 算法基本思想


001.jpg

  本文算法框架如图1所示,首先通过混合高斯模型进行背景建模,背景差分获得前景区域,形态学处理和滤波得到前景目标,同时在车辆进入场景的入口处设定车辆检测区域,进行新目标的进入检测,从而确定进入场景中目标的个数,这样可以通过先验知识提前避免对整个场景进行目标的检测,提高效率的同时又能在后续非检测区域进行跟踪时一定程度上规避目标的合并与分离的问题;然后对检测到的车辆目标进行Harris特征点的提取,用提取的特征点对目标进行标识,这样不仅对噪声不敏感,还可以抵抗光照变换带来的影响;接着对提取的特征点进行光流运动估计,预测特征点的运动位置,然后在跟踪的过程中适时地对目标跟踪模版进行更新,从而保证了目标跟踪的准确性和稳定性;而且本算法采用无监督的运动目标检测、提取和跟踪,实现在视频序列中自动检测并跟踪多目标。

2 新目标检测与提取

  2.1 前景分割

  利用混合高斯模型建立起背景图像,通过当前帧图像与背景图像的差分获得包含运动目标的前景图像。由于背景建模的精确性,会有一些前景的像素没有检测出来,形成空洞,还有一些背景的像素由于误检测而被判定为前景,成为一些零星的噪声点。所以需要对前景图像进行进一步的处理,在对前景图像进行二值化操作之后,利用高斯滤波和中值滤波进行平滑处理和去噪处理,这时得到的图像再利用形态学处理使得前景区域更加完整。

  2.2 新目标的检测

  在视频图像上设定新目标的进入检测区域,来捕捉新目标的出现。在这过程中建立潜在目标列表(potential_list),通过测量目标的中心位置(xc,yc)记录目标的状态,用这个测量和新目标建立关联来定义新目标的出现,根据车辆相对场景的位置大小设立阈值(xT,yT),若|xc-xT|≤T或|yc-yT|≤T(T为常数)则判定为新目标出现,然后用矩形框来拟合目标轮廓,把拟合的矩形框加入到待跟踪目标列表(temp_list)当中,得出运动目标描述的矩形。

  2.3 目标提取与标识

  在捕捉到新目标之后,就需要对新目标建立跟踪关系。由于车辆目标为刚体且纹理丰富,可以提取出一定数量而且可以精确定位稳定的特征点,因此本文采用基于Harris特征点的数据关联跟踪,利用Harris特征点来标识目标。Harris特征检测器是一种经典的角点检测方法,在纹理信息丰富的区域,Harris可以提取出大量有用的特征点,而且Harris的计算公式中只涉及到一阶导数,因此对图像旋转、灰度变化、噪声影响和视点变换不敏感。

3 多目标的跟踪

  3.1 Lucas-Kanade(LK)光流

  LK光流算法是一种应用最广泛的求稀疏光流的方法, LK光流算法基于以下三点假设:

  (1)亮度恒定,即像素在帧间运动时,像素值保持不变;

  (2)图像的变化相对于时间的变化微小;

  (3)在一个小的局部区域(n×n)内像素运动一致,亮度恒定。

  由假设(1)可得:

  V]L0E{3YCK91(Y}(MF~I51Z.png

  3.2 特征点聚类成目标

  通过光流运动估计,在当前帧中找到上一帧目标框中的特征点在这一帧中的对应位置,然后将这若干个特征点在相邻两帧之间的位移变化进行排序,得到位移变化的中值(um,vm),把(um,vm)作为目标中心点的位移变化,即目标中心xci=xci-1+um,yci=yci-1+vm,计算特征点之间x向的最大距离Xmax和y向的最大距离Ymax。

  3.3 模版更新策略

  为了使跟踪算法能够适应目标自身的旋转与尺度变化,需要在跟踪过程中对目标跟踪模板进行更新。令n0为目标初始特征点个数,ni为第i帧图像中光流估计目标区域内的特征点个数。当着时初步判断需要更新模板。然后提取当前帧目标所在位置的前景区域,并用矩形框进行拟合,矩形框面积用Si表示,Si-1表示上一帧目标框的面积。若OXTIC])40M](X8Y42}RXFQQ.png则说明目标发生了遮挡,则暂时不进行模版更新,否则会出现“漂移”现象,从而可能导致跟踪目标丢失,直到检测到遮挡结束则继续进行模版更新,若AI6V]_%UY7E2`1EJ{MA1WAI.png则更新目标区域,提取目标特征点,然后更新模版。模版更新流程如图2所示。

002.jpg

  4 实验结果与分析

  为了验证本算法的有效性,分别对智能卡口、城市道路、高速公路3种不同的场景以及不同的视角进行了多个运动目标的实时自动跟踪。

003.jpg

  3种场景下的车辆跟踪结果如图3所示,可以看到本算法整体的跟踪效果。如图3(a)、3(c)所示,在跟踪车辆的过程中生成目标的运动轨迹;如图3(c)所示,在车辆跟踪的同时,对车流量进行了一个统计。如图4(a)所示,被跟踪车辆在发生转弯时车辆发生较大形变导致原先的一部分特征点失效,直至跟踪丢失。而在图4(b)中,本文提出的跟踪算法具备自检能力则很好地解决了目标发生形变时跟踪失败的问题。

004.jpg

  表1记录了不同视频段的跟踪情况,以及处理不同视频段时的处理速度。图5分别展示了3段视频每帧的处理时间,可以看出处理时间呈阶梯状分布,阶梯的高低表示处理目标个数的不同,如表2所示。

008.jpg

5 结论

  针对车辆的多目标跟踪中出现的难点,本文提出一种车辆的实时自动跟踪算法,该算法利用GMM进行背景建模,结合形态学滤波处理分割提取出前景目标,利用Harris特征点对目标进行标识,然后运用特征光流运动估计进行基于角点动态特征的跟踪,并在跟踪的过程中适时进行模版的自动更新。实验结果表明,该方法也能很好地适应目标尺度的变化,通过设置车辆的存在和消失参数,实现车辆运动目标的自动跟踪,并具有较好的实时性。本文算法存在的一个局限是当目标个数过多或跟踪目标被严重遮挡时,跟踪效果则不是很理想。因此,在今后还需要对目标遮挡跟踪作进一步的研究。

参考文献

  [1] YANG H,SHAO L,ZHENG F,et al.Recent advances and trends in visual tracking: a review[J].Neurocomputing,2011,74(18):3823-3831.

  [2] 侯志强,韩崇昭.视觉跟踪技术综述[J].自动化学报,2006,32(4):603-617.

  [3] LI Z,TANG Q L,SANG N.Improved mean shift algorithm for occlusion pedestrian tracking[J].Electronics Letters,2008,44(10):622-623.

  [4] 夏瑜,吴小俊,冯振华.基于特征贡献度的Mean Shift 视频跟踪算法[J].控制与决策,2012,27(7):1021-1026.

  [5] 戴洪德,陈明,周绍磊,等.基于支持向量机的自适应卡尔曼滤波技术研究[J].控制与决策,2008,23(8):949-952.

  [6] 陈金广,马丽丽,陈亮.基于边缘粒子滤波的目标跟踪算法研究[J].计算机工程与应用,2010,46(28):128-131.

  [7] 李培华.一种新颖的基于颜色信息的粒子滤波器跟踪算法[J].计算机学报,2009,32(12):2454-2463.

  [8] BRUHN A,WEICKERT J.Combining local and global opticflow methods[J].International Journal of Computer Vision,2005,61(3):211-231.

  [9] TU D W,JIANG J L.Improved algorithm for motion image based on optical flow and its application[J].Optics Precision Engineering,2011,19(5):1159-1164.


此内容为AET网站原创,未经授权禁止转载。