《电子技术应用》
您所在的位置:首页 > 测试测量 > 设计应用 > 基于改进车底阴影提取算法的前方运动车辆实时检测
基于改进车底阴影提取算法的前方运动车辆实时检测
2018年电子技术应用第4期
朱英凯,罗文广,宾 洋
广西科技大学 电气与信息工程学院,广西 柳州545006
摘要: 道路前方运动车辆检测是汽车安全辅助驾驶的重要方面,开发鲁棒性强的实时检测方法是实现主动安全预警的有效途径。基于单目视觉和车道线确定梯形感兴趣区域(Region of Interest,ROI),并根据车底阴影特征,提出一种变矩形窗口的自适应均值-方差差值法,用于计算车底阴影阈值;进而,提出一种基于车辆尾部宽度模版的横向遍历最小均值法,生成车底阴影与路面相交线假设;再利用车底阴影的灰度值特征,对车底阴影线进行验证,从而检测出车辆。将上述方法应用于自行开发的DSP实验平台进行验证,结果表明,该方法平均计算周期仅38.46 ms,且在不同的交通环境、天气情况下均能较好地检测出车辆,具有较好的实时性和较强的鲁棒性。
中图分类号: TP391.41
文献标识码: A
DOI:10.16157/j.issn.0258-7998.174365
中文引用格式: 朱英凯,罗文广,宾洋. 基于改进车底阴影提取算法的前方运动车辆实时检测[J].电子技术应用,2018,44(4):86-89,98.
英文引用格式: Zhu Yingkai,Luo Wenguang,Bin Yang. Real-time detection of front moving vehicles based on improved vehicle shadow extraction algorithm[J]. Application of Electronic Technique,2018,44(4):86-89,98.
Real-time detection of front moving vehicles based on improved vehicle shadow extraction algorithm
Zhu Yingkai,Luo Wenguang,Bin Yang
School of Electrical and Information Engineering,Guangxi University of Science and Technology,Liuzhou 545006,China
Abstract: The detection of vehicles on road frontage is the main field of vehicle safety driving assist, and developing real-time testing methods with strong robustness is the effective way to realize the active safety early warning. Based on monocular vision and the vehicle ahead trapezoidal region of interest(ROI) determined by lane lines, a variable rectangular window adaptive mean variance difference method to calculate the threshold of shadows is put forward according to the characteristic of vehicle shadow. And then, based on the ground of trail width template, a horizontal traversing minimum mean method is presented to generate shadows and road intersection hypothesis. At last, the vehicle shadow line is verified by the gray value feature of the car bottom shadow, so as to detect the vehicle. The above methods are applied to the self-developed DSP experimental platform for verification. The results show that the average calculation period of the method is only 38.46 milliseconds, and the vehicle can be detected in different traffic environments and weather conditions. The method has good real-time performance and strong robustness.
Key words : vehicle detection;monocular vision;region of interest;vehicle shadow

0 引言

    基于视频的前车实时检测技术,是利用电荷耦合元件(Charge-Coupled Device,CCD)[1]实时采集本车前方车辆在公路上行驶的视频,然后对图像进行分析和处理,由此识别出视频中的车辆。该类研究属于汽车安全辅助驾驶领域,对减轻驾驶员驾驶压力及减少交通事故有重要意义。大量文献[2-7]表明车辆底部阴影特征较为显著,因此准确识别车底阴影车辆检测的前提。

    基于车底阴影特征车辆检测的方法主要有基于模型和基于特征的方法。基于模型的方法通常是根据车辆、场景、光照等先验知识建立2D或3D阴影模型[3-4],具有较好的适应性,但受建立模型数量的限制。基于特征的方法是根据车底阴影的灰度值、纹理、形状、梯度特征[5-7],将车底阴影与路面分割[6],通过车底阴影检测确定车辆位置,最终达到车辆位置检测的目的,但该方法易受光线的影响。

    综上所述,本文提出一种改进的连续变矩形窗口的自适应均值-方差差值法,以准确地求出车底阴影阈值;并提出一种基于汽车尾部宽度模版的横向遍历最小均值法,生成车底阴影线假设的方法,以实现实时前车检测。

1 车辆检测算法

    车辆检测算法的实现过程为:确定前车感兴趣区域(ROI);计算出车底阴影阈值,并生成车底阴影线假设;对车底阴影线假设进行验证,从而检测出车辆。

1.1 ROI的选取

    ROI的选取,即预估车辆可能出现在图像中的范围。合理的ROI区域的选取能缩小图像检测区域,提高实时性。研究表明,基于车道线的梯形ROI区域确定可以减小大量的计算量[8]。本文在车道线可识别的假设前提下确定梯形ROI区域[9]。梯形ROI区域内完整地保留了车底阴影信息,减小了算法检测的区域,提高了算法的实时性。同时梯形ROI的选取增大了最远处车辆的识别范围,相对比固定消失点[10]的三角形ROI方法,减小了车辆漏检率。

1.2 车底阴影阈值的计算

    图像中车底阴影在道路上的投影形状通常近似为矩形[11],因此本文则将车底阴影的形状视为矩形。经大量统计可以得出,车底阴影矩形的宽度与高度的比例大约为5:1[11]。因此选择宽、高比为5:1的矩形窗口作为遍历模版,在ROI区域的所有像素点内,按由下至上、由左至右的顺序进行遍历,求出车底阴影阈值。变矩形窗口的均值-方差差值自适应阈值计算公式为[12]

     ck5-gs1-3.gif

式中,Th为ROI区域的阈值;M为矩形窗口遍历求得的最小灰度平均值;σ为M对应矩形窗口内像素点灰度值的标准差;G(u,v)为坐标点(u,v)处像素点的灰度值,遍历过程中坐标点(u,v)取遍ROI内所有像素点,且顺序由下至上、由左至右;(um,vm)为M对应像素点坐标;W和H分别为图像中矩形窗口像素的宽和高;w、h分别为遍历矩形窗口内像素点距其左上角像素点横、纵像素距离。其中最小单位像素长度为1,下文将长度单位均视为图像中像素长度单位。

    根据图像的透视原理[12],同一物体越远,在图像上显示越小,反之亦然。同理,在图像中车底阴影同样具有这一特征。图1近似给出车底阴影宽度随着图像中远近程度改变而改变的变化规律[13]。线段AB为车底阴影在本图像中的真实位置,若车底阴影位置分别位于CD、EF处,则此时的宽度分别为线段CD、EF的长度,近而点ABFE围成的梯形区域视为车底阴影所在区域假设。由于实时视频中画面的变化是连续的过程,同理车底阴影大小的变化是连续的,矩形车底阴影的宽度、高度的变化也是连续的。

ck5-t1.gif

    由上述车底阴影大小的变化规律可知,使用固定大小的矩形窗口求解车底阴影灰度阈值并不合理,从而提出一种连续变化的矩形窗口阈值求解方法。图1中,S为连续变化的矩形窗口,其在ROI区域内的所有像素点遍历时,纵轴V方向像素点坐标每上移一个单位像素点时,W的值随之减小Δw,H的值始终为W的1/5倍;沿横轴U方向遍历时,S大小不变。S的宽度W纵向变化率为:

    ck5-gs4.gif

式中,Δw为矩形窗口S的纵向宽度变化率,Wmax为梯形ROI下底处矩形窗口S的宽,Wmin为梯形ROI上底处矩形窗口S的宽,HROI为梯形ROI的高(参见图1)。

    将改进的变矩形窗口自适应车底阴影阈值计算方法与传统的固定矩形窗口车底阴影阈值计算方法[10]进行比较,通过阈值分割二值图可以看出,本文改进的变矩形窗口自适应车底阴影阈值计算方法较传统固定矩形窗口阈值计算方法求得的阈值更为准确。其中,图2(a)为变矩形窗口自适应车底阴影阈值分割二值图,图2(b)、图2(c)为固定矩形窗口车底阴影阈值分割二值图。

ck5-t2.gif

1.3 车底阴影检测

1.3.1 车底阴影线假设

    车底阴影检测是通过检测车底阴影与路面相交线位置,即能确定前方车辆位置。而车底阴影与路面相交线(下文统称为车底阴影线)通常为水平线段,其长度随纵轴变化而连续变化;且车底阴影线上的像素点灰度均值小于阈值Th。基于上述车底阴影线的特征,本文提出一种基于车辆尾部宽度模版的横向遍历最小灰度均值法,快速生成车底阴影假设。图3为车底阴影线假设生成过程示意图。基于车辆尾部宽度模版,逐行计算出ROI区域内每一行中最小灰度均值:

    ck5-gs5.gif

式中,Mv为最小灰度均值,即当ROI区域的纵轴坐标值v不变时,以车底阴影线长度为Wv的车辆尾部宽度模版,遍历第v行上所有像素点,求得第v行处的值;同图3所述车底阴影大小变化规律,Wv的值随着纵轴坐标值变化而变化,纵向变化率同式(4)中的Δw。

ck5-t3.gif

    然后,将计算出的Mv与阈值进行比较,若Mv<Th,则记录下Mv对应的坐标值(u,v),此时的坐标值即为车底阴影线假设左顶点坐标,阴影线长度即为该纵轴坐标值v处对应的Wv。若图3中第v′行求得的Mv′小于Th,则像素点(u′+g,v′)为车底阴影线假设左顶点坐标,车底阴影线长度为Wv′。由于车底阴影形状为矩形,因此满足Mv<Th的车底阴影线不止一条,如图4所示,ROI区域内产生多条车底阴影线假设。将车底阴影放大后可统计出生成模版的车底阴影线假设共有10条(以图4为例),为准确地检测车辆,还需对假设结果进行验证,确定出唯一车底阴影线。

ck5-t4.gif

1.3.2 车底阴影线验证

    由于车底阴影线在车底阴影正下方,因此利用车底阴影特征对车底阴影线假设进行验证。已经知道车底阴影形状呈矩形且灰度均值比阈值小,因此,利用宽度为Wv、高度为Hv=Wv/5的验证矩形窗口Sv,求出车底阴影线假设处像素点灰度值均值Mean(u,v)。像素点(u,v)为车底阴影线假设的左顶点坐标位置,同时也是验证矩形窗口Sv的左下顶点坐标。Mean(u,v)计算公式为:

    ck5-gs6.gif

    车底阴影线验证按着车底阴影长度Wv由大至小顺序依次进行,在验证过程中一旦有车底阴影线假设满足Mean(u,v)<Th,即确定其为唯一车底阴影线,验证过程结束。

2 DSP硬件系统及实时算法实现

2.1 DSP硬件系统

    本文选用的DSP为TMS320DM6437,利用其作为搭建视频采集硬件系统的核心处理器,如图5所示。

ck5-t5.gif

    图5中VPFE和VPBE分别为视频处理子系统(VPSS)的前端和后端。系统利用CCD摄像机采集实时视频,并将视频信息传送给VPFE,VPFE将模拟视频信号转换为数字视频信号传送给DM6437进行车辆位置实时检测算法处理,最后通过LED显示。

2.2 实时算法实现

    在离线车辆检测算法中用时最长的部分为车底阴影阈值计算,经实验验证对每一帧图像进行阈值计算实时性较差。由于车辆行驶在公路上,在一定的时间内光照情况及路面结构几乎不变,而这恰好是对车底阴影阈值影响较大的因素。因此,本文假设在一个单位时间(1 s)内车底阴影阈值不变。基于本文算法,提出一种间隔帧数阈值求解的方法。即在实时视频中,每间隔相同图像帧数求解一次阈值。为了直观体现间隔帧数求解阈值的实时效果,分别给出3种不同间隔帧数情况下DSP实时算法的实时性对比结果,见表1。

ck5-b1.gif

    由表1可知,间隔30帧时DSP的每秒处理速度达到26帧/s,此速度可以满足车辆检测实时性要求,因此本算法选择间隔的帧数为30。图6为运动车辆检测DSP实时算法程序流程图,主要步骤包括:RIO区域选取、阈值计算、车底阴影线假设、车底阴影线验证。

ck5-t6.gif

3 检测结果分析

    本文实验所用的视频来源于行车记录仪,以2015年9月20日至25日拍摄于海门市人民西路路段、秀山路路段、上海市河南中路延安高架桥隧道等路段的图像为例。

    图7是在不同光照及路面环境下,从DSP实时前车检测结果中,随机抽取的部分结果图。本算法可以满足不同光照、不同路面干扰及多种工况下的车辆检测。为更加直观地体现本算法的实时性及准确性,本文参照文献[9]的方法,分别随机统计8 000张简单工况下及复杂工况下视频图像检测结果。其中简单工况为光照正常,路面没有干扰;复杂工况有光照较弱、道路标示干扰、路面阴影干扰等情况。两种工况下车辆检测统计结果如表2所示。

ck5-t7.gif

ck5-b2.gif

4 结论

    实验结果表明:采用变矩形窗口自适应均值-方差差值阈值求解法,可以在不同光照及不同路面环境下准确、快速地计算出车底阴影阈值;基于车辆尾部宽度模版的逐行最小均值搜索法生成车底阴影线假设,可以大幅度提高算法的实时性,为DSP实时算法的实现提供了有利条件。

    综上所述,基于改进车底阴影提取算法的前方运动车辆实时检测技术实时性好、鲁棒性强,在不同的交通环境、天气情况下均能较好地检测出车辆。

参考文献

[1] 陈苏婷,杨世洪.基于感兴趣区域的可变频CCD实时处理系统[J].电子技术应用,2012,38(1):34-37.

[2] Qu Shiru,Li Xu.Research on multi-feature front vehicle detection algorithm based on video image[C].Chinese Control and Decision Conference(CCDC).IEEE,2016:3831-3835.

[3] COLLADO J M,HILARIO C.Model based vehicle detection for intelligent vehicles[C].IEEE Intelligent Vehicles Symposium(S.l.).IEEE,2004:572-577.

[4] 胡铟,杨靖宇.基于模型的车辆检测与跟踪[J].中国图象图形学报,2008,13(3):450-455.

[5] SANIN A,SANDERSON C,LOVELL B C.Shadow detection:a survey and comparative evaluation of recent methods[J].Pattern Recognition,2013,45(4):1684-1695.

[6] Jin Lisheng,Gu Baiyuan,Wang Rongben,et al.Preceding vehicle detection based on multi-characteristics fusion[J].IEEE International Conference on Vechicular Electronics and Safety,ICVES 2006,2007:356-360.

[7] YANG M S,LAI C Y,LIN C Y.A robust EM clustering algorithm for Gaussian mixture models[J].Pattern Recognition,2012,45(11):3950-3961.

[8] 齐美彬,潘燕,张银霞.基于车底阴影的前方运动车辆检测[J].电子测量与仪器学报,2012,26(1):54-59.

[9] 胡铟.基于单目视觉得运动目标检测与跟踪算法研究[D].南京:南京理工大学,2007.

[10] KROEGER T,Dai Dengxin,GOOL L V.Joint vanishing point extraction and tracking[C].IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2015:2449-2457.

[11] 顾柏园.基于单目视觉的安全车距预警系统研究[D].长春:吉林大学,2006.

[12] 杨必武,郭晓松.摄像机镜头非线性畸变校正方法综述[J].中国图象图形学报,2005,10(3):269-274.

[13] TSENG S P,FONG D.A DSP based real-time front car detection driving assistant system[C].SICE Annual Conference,2010:2419-2423.



作者信息:

朱英凯,罗文广,宾  洋

(广西科技大学 电气与信息工程学院,广西 柳州545006)

此内容为AET网站原创,未经授权禁止转载。