帧间差分与边缘纹理相融合的运动目标检测
2009-06-22
作者：王 浩，刘 辉，姚 瑶，尚振宏
摘 要：提出了一种利用边缘纹理进行背景建模，结合三帧差分算法，获取目标轮廓的运动目标检测方法，进一步通过区域填充得到目标前景。该方法对光线变化不敏感，对阴影去除有比较好的效果，改进了边缘纹理差分和帧间差分的缺陷，取得了比较完整准确的运动目标前景。
关键词：三帧差分；边缘检测；背景差分；运动目标检测
近些年来，随着智能监控系统在安防、交通等领域的逐步推广和应用，基于计算机视觉的智能监控系统技术也得到了不断的发展。运动目标检测是智能监控的首要步骤，对运动目标的正确检测，是对视频序列进一步分析识别，对运动目标活动判断理解的基础。获得比较真实、完整的前景，才能做到准确、可靠、有效地跟踪。
运动目标检测方法主要有帧间差分法、背景差分法、光流法等。目前最为常用的方法是背景差分法，它通常利用数学方法对监控场景进行背景图像建模，通过将背景图像与当前帧图像做差分得到前景。在这种思想基础上提出了很多算法，如混合高斯模型GMM(Gauss Mixed Model)[1]，LBP（Local Binary Pattern）[2]，贝叶斯模型等。这些方法具有获取目标前景比较完整、滤除树枝晃动、水面波动等干扰的能力强的特点，但是通常运算速度很慢，对于光线变化比较敏感，对目标阴影的去除效果也较差。
本文在对现有运动检测算法以及图像处理技术研究的基础上提出了一种利用边缘纹理进行背景建模、结合帧间差分获取运动目标完整轮廓的方法，并通过进一步处理得到了比较完整准确的运动目标前景图像。该运动目标检测方法受光线变化影响小，运动速度快，对前景目标阴影的去除也获得了比较好的效果。
1 相邻帧间差分和三帧差分
相邻帧间差分法是一种常用的运动目标检测方法[3]，利用相邻两帧的差值，得到运动区域轮廓。设在时刻t和t+1采集到的两幅图像分别为fk(x,y)和fk-1(x,y)，两帧之间的差分为：
利用公式(1)得到差分图像Dk，然后选择阈值T对差分图像二值化，以差值大于T为前景，得到运动目标轮廓。该方法对运动检测比较灵敏，不受噪声干扰影响，但也存在一定的缺陷，获得的目标轮廓在目标运动方向进行了拉伸，运动速度不同，造成的拉伸程度也不同。对此一些学者提出了采用三帧差分的方法[4-5]，利用2次帧间差分结果，进行“与”操作，从而得到比较精确的目标轮廓位置。其方法为：
采用这种方法得到的目标边缘比较真实，定位准确，对刚体目标的跟踪有比较好的效果，但对于人体运动，由于各部分运动不同、姿态不一致，造成获取的轮廓一般不连续，难以进一步闭合填充。
2 基于边缘纹理的背景差分
常用的边缘检测算法有很多种，比如Roberts算法、Canny算法、Sobel算法、高斯拉普拉斯（LOG）算法等[6][7]。其中利用Sobel算子进行边缘检测，获取图像边缘纹理信息的方法，由于复杂度低、实时性以及检测效果较好，所以被本文采用。Sobel检测算子为：
分别求取当前帧的横向梯度Gradx和Grady纵向梯度，两者相加得到整幅纹理的图像Grad。得到边缘纹理图像后，利用该图像作为当前图像进行背景建模。本文采用平均背景法生成背景。平均背景法是一种运算量小、复杂度低的背景方法，它将当前帧像素点的值按一定权重累加入背景，获取背景。设某一像素点在t-1时刻的背景像素值为Pt，当前帧的像素值为BKt-1，背景更新权重为α，则更新方法为：
经过一段时间的学习得到边缘背景后（图1b，图为反色显示），利用当前边缘图像(图1a)与背景边缘图像差分，对差分结果取阈值做二值化，得到运动目标前景（图1c）。由于Sobel算子纹理检测的良好特性，可以得到比较完整的目标轮廓，但在前景与背景的边缘交叉处，轮廓容易发生断裂与缺失，这在视频场景复杂的情况下尤为突出。另外，由于Sobel边缘检测对噪声比较敏感，检测的轮廓边缘也会有一些细小波动，背景差分结果存在一些噪声。
3 两种方法的融合
如前所述，以上两种方法能够准确定位运动目标的边缘，但是都不能保证其连续完整，存在一定的问题。根据现有的研究经验[8]，考虑到两种方法缺陷的互补性，将两者检测的结果累加，从而得出完整轮廓。设帧间差分检测结果为Ddiff，边缘背景差分结果为Dedge，则最终运动目标检测结果为：
整个运动目标检测算法的流程如图2所示。
本文对此方法进行了实现验证，实验结果表明，两种方法相结合，使边缘背景差分和帧间差分在如下几个方面得到了改进：
（1）人在行走过程中，由于着地脚和支撑腿运动相对静止，导致在三帧差分图中消失，轮廓不能闭合（如图3a，反色显示），但是背景差分可以很好地得到腿部轮廓（图3b），两者结合可以得到图3c的完整轮廓。
（2）当目标的纹理和背景纹理相近，或者检测边缘得到边缘不连续时，边缘背景建模无法很好地形成闭合，如图4所示，a,d为前景，b，e为当前帧，分别会造成目标边缘的断裂（c）和消失（f）。在视频序列的复杂场景中，会造成人体轮廓的部分缺失（如图5a反色显示，在运动人体腰部位置，由于受到背景边缘影响，造成上身与下身的割裂），小段的边缘缺失可以通过形态学处理或者边缘连接得到闭合，大的断裂则难以补充完整，另外如果多次采用形态学膨胀腐蚀，也会放大噪声点干扰，造成对目标形状的破坏。帧间差分的结果对于这类边缘的缺失进行了有效补充（图5c）。（3）背景学习的过程需要指定更新权重值α，权重值大，背景的学习速度过快，导致慢速运动目标融入背景，出现运动目标残余、拖影等。学习速度太慢，会使背景初始生成时间过长。在这里，本文设定两个更新参数，利用帧间差分结果，帧间差分区域内的值采用权重值小的α=0.01更新，减缓目标融入背景速度。帧间差分区域以外的像素采用大权重值更新，使目标离开当前位置后，在原位置区域迅速更新背景，本文设定α=0.1，加快了初始背景学习，实验中采用35帧左右可以学到比较干净的边缘纹理背景。
4 轮廓填充与前景检测结果
获得运动目标轮廓图像之后，需要对轮廓进行形态学闭合处理，完善轮廓，然后进行填充，最后通过腐蚀或平滑处理，滤除噪声，获得前景目标。需要注意的是，当运动目标出现在图像边缘时，检测到轮廓并不是一个闭合的曲线，在图像边缘处不存在前景边缘，无法进一步填充，可以在图像边缘的x或y方向添加一条与轮廓区域长度相同的辅助线，帮助闭合轮廓。最后经过标识后的前景检测结果如图6所示，a为经过标注的视频帧，b为帧间差分结果，c为背景差分结果，d为结果后的结果，e为最终填充结果(二值图均为反色显示)。
本文提出了一种新的背景差分方法，利用图像的Sobel边缘纹理学习背景，差分得到目标轮廓，针对边缘差分结果造成的轮廓线不连续以及背景学习率的问题，又结合帧间差分方法，进行了改进与完善。本方法检测得到的目标前景比较完整准确，可在此基础上进一步进行目标的跟踪识别。在算法实现过程中，只利用灰度图像进行处理，运算复杂度低，对阴影以及光照变化不敏感，运算速度比较理想，对于320×240分辨率的视频图像，在配置CPU1.7 GB，内存1 GB的试验机上，能够达到20 f/s以上。
本文检测方法还不够完善，目前存在的问题有：在强光下的阴影去除不是很理想；帧间差分以及背景差分的阈值需手动指定，如果进一步结合分块等自动阈值确定的算法，则能够更好地适应各种环境及光线变化；另外，边缘和纹理信息的检测算法还需进一步改进和完善。
参考文献
[1] OLIVER N， ROSARIO B， PENTLAND A. A bayesian computer vision system for modeling human interactions, IEEE Trans.Pattern Analysis and Machine Intelligence, 2000.
[2] STARFFER C， GRIMSON W E L.Adaptive background mixture models for real-time tracking, InProc.IEEE Conference on Computer Vision and Pattern Recognition,1999.
[3] 王栓，艾海舟，何克忠.基于差分图象的多运动目标的检测与跟踪[J].中国图象图形学报, 1999，4(6):470-475.
[4] DAI GuoJun, ZHANG Yun. A novel auto-camshift algorithm used in object tracking. Proceedings of the 27th Chinese Control Conference . 2008,7:16-18.
[5] 吕国亮，赵曙光，赵俊.基于三帧差分和连通区域检验的图像运动目标检测新方法[J]. 液晶与显示，2007,2(22):87-92.
[6] 张冬芳，王向周．一种基于边缘信息的改进车辆检测方法．2006，8(1): 186-187.
[7] SONKA M, HLAVAC V, BOYLE R.图象处理分析与机器视觉[M].第二版. 艾海舟, 译. 北京：人民邮电出版社, 2003.
[8] 朱明旱，罗大庸，曹倩霞. 帧间差分与背景差分相融合的运动目标检测算法[J].计算机测量与控制，2005，13（3） ：215-217.