《电子技术应用》

基于视觉目标跟踪的PTZ控制方法

2017年电子技术应用第1期 作者:潘振福,许 静,刘 成,朱永利
2017/3/7 13:29:00

潘振福,许  静,刘  成,朱永利

(华北电力大学 计算机系,河北 保定071003)


    摘  要: 针对目前基于主动视觉的PTZ摄像机控制跟踪性能差,无法连续、实时跟踪动态目标,且跟踪目标的准确度低下等缺陷,提出了一种基于核相关视觉目标跟踪算法的云台摄像机控制方法。首先设计了云台摄像机系统的整体架构。视觉目标跟踪采用核相关目标跟踪方法,时效性很高,跟踪精确度也位列于目标跟踪领域的高等水平。根据跟踪结果信息,通过PELCO-D协议控制PTZ摄像机,始终保持目标在视频画面内。并用C++实现了KCF算法控制PTZ摄像机上位机,实验验证了该种PTZ控制方法的准确性、适用性及稳定性。

    关键词: 目标跟踪;云台控制;相关滤波器

    中图分类号: TP391

    文献标识码: A

    DOI:10.16157/j.issn.0258-7998.2017.01.038


    中文引用格式: 潘振福,许静,刘成,等. 基于视觉目标跟踪的PTZ控制方法[J].电子技术应用,2017,43(1):145-147.

    英文引用格式: Pan Zhenfu,Xu Jing,Liu Cheng,et al. The method of controlling PTZ camera based on visual object tracking[J].Application of Electronic Technique,2017,43(1):145-147.

0 引言

    PTZ(Pan/Tilt/Zoom)摄像头是将CCD摄像机、变焦变倍镜头、全景云台等部件集成在一个单元中构成的摄像机系统。传统的PTZ摄像机监控系统通过人工操控键盘或者摇杆对监控目标进行跟踪,如果目标较远,通过手动控制镜头变焦,这种人工操控的方式跟踪误差太大,造成系统摄像不稳定、不连续。近年来,基于主动视觉的PTZ摄像机系统逐渐发展,陈双叶等人提出基于Camshift算法和卡尔曼滤波器目标跟踪算法的PTZ摄像机控制方法[1],简单地采用颜色直方图作为跟踪匹配特征,容易受到光照变化、运动模糊遮挡等因素影响而造成跟踪失败。WANG S等人提出的高斯混合模型目标检测定位方式的PTZ控制方法仅仅解决了镜头对焦问题[2]。而DONG E等人除了应用高斯混合模型目标检测之外,还融合了Kalman滤波器与Camshift算法对目标进行跟踪,从而控制PTZ摄像机[3],相比近年来先进的目标跟踪技术,这些跟踪算法相对落后,其性能容易受众多因素影响,包括光照变化、遮挡和背景混杂等。在视觉目标追踪(The Visual Object Tracking,VOT)2014年挑战结果[4]中显示,基于分类相关滤波器的跟踪器是目前最优秀的目标跟踪算法之一,提供了先进的跟踪性能。HENRIQUES J F等使用了梯度方向直方图(HOG)特征,提出了核相关滤波器(Kernelized Correlation Filter,KCF)及双相关滤波器(Double Correlation Filter,DCF)跟踪器[5],运算速度能达到300 b/s以上。

    本文采用KCF目标跟踪方法作为控制算法核心对运动目标进行跟踪,并采用粒子滤波框架对目标进行运动状态预测,根据跟踪结果使用PID算法对PTZ摄像机进行协调控制。

1 PTZ摄像机系统架构

    本文中的PTZ摄像机系统由云台摄像机、视频采集卡以及运行PTZ控制系统的上位机组成,如图1所示。

jsj4-t1.gif

    由视频采集卡从摄像头采集回来的图像传入算法中进行跟踪运算,通过RS232转RS485串口遵循PELCO-D协议控制PTZ摄像机转动,保持跟踪目标在视频图像中。PELCO_D协议定义了水平旋转、上下旋转、变焦变倍等功能。

2 目标跟踪方法

    在KCF跟踪算法中,以核岭回归分类器作为核心,用循环移位方法致使样本变换,建立循环矩阵来训练该分类器,然后把目标与周围背景区分开来,从而达到对目标快速有效检测跟踪的目的。对样本进行巧妙地变换使训练数据矩阵具有循环特性,就可以通过离散傅里叶变换对角化,便能减少几个数量级的存储与计算,这就是文献[5]提出的核岭回归相关滤波器(Kernelized Correlation Filter,KCF),具有其他核算法没有的线性复杂度。

2.1 岭回归分类器

    针对线性岭回归判别函数f(z)=wTz,训练的目的是利用样本xi找到一个权值wi对回归目标yi最小平方误差:

    jsj4-gs1.gif

其中λ是正则化参数,控制过度拟合。根据文献[6]得到最优解:

jsj4-gs2-4.gif

    由式(4)可知,需要优化的变量是α,而并不是w。

    核岭回归问题的解由文献[9]给出:

    jsj4-gs5.gif

2.2 循环矩阵

    对样本x进行移位变换,可以获得循环矩阵X,即:

    jsj4-gs6.gif

    矩阵X完全由指定的样本向量x(这里的第一行)循环移位生成。无论生成向量x为何值,所有循环矩阵都能被离散傅里叶变换(DFT)矩阵对角化[10]。也就是:

jsj4-gs7.gif

2.3 核相关分类器训练

    只要满足文献[5]提出的定理1的核函数的核矩阵K具有循环结构,所以:

jsj4-gs8-11.gif

2.4 目标快速检测

    为了检测出感兴趣物体,通常用回归函数f(z)去评估目标在多个图像中位置信息,从而估计出目标位置。把包含目标图像且比目标尺寸大的图像块作为搜索窗口,对此搜索窗口进行循环移位,形成不同的候选图像块,然后建模成循环结构的循环矩阵。

    假设核矩阵Kz由匹配模板和搜索窗口样本核相关所得。因为匹配模板X和检测样本Z是基于元素向量x和z移位变换的循环结构矩阵,相应的,Kz的每个元素是由κ(pi-1z,pj-1x)组成,根据文献[5]的定理1可以验证这个矩阵是一个循环核矩阵。与上一节相似,只需第一行元素来表示核矩阵:

    jsj4-gs12.gif

其中kXZ是前面定义的x与z的核相关运算。可以把回归函数表示为:

    jsj4-gs13.gif

    注意到f(z)是一个矩阵元素z向量的所有移位变换形式的输出响应,为了更有效地计等式(13),得到对角化后的等式:

jsj4-gs14-16.gif

3 实验分析

    在QT5平台上完成PTZ摄像头系统上位机端的C++实现,运用了OPENCV库。 

3.1 跟踪质量评估

    在实验室环境下,运行结果如图2所示,运动目标被完全遮挡的情况下,跟踪算法仍然很稳定。

jsj4-t2.gif

3.2 PTZ控制质量实验

    上位机通过RS232转RS485转串口与PTZ摄像头相连,遵循PELCO_D协议控制。控制结果如图3所示。图中中间位PTZ摄像头贴有白色的标识,以便明显看到其转动,图中右下角为摄像头跟踪的图像。结果显示,其能始终保持跟踪目标在图像中。

jsj4-t3.gif

4 结论

    针对目前现有的主动视觉的PTZ摄像头控制系统的跟踪性能较差、导致跟踪丢失等问题,提出了一种基于核相关视觉目标跟踪器的PTZ摄像机控制方法,并在QT平台上应用OPENCV库实现了PTZ摄像机控制系统的C++版。实验结果验证了本系统的稳定性与鲁棒性。

参考文献 

[1] 陈双叶,王善喜.PTZ摄像机跟踪运动目标的智能控制算法的研究[J].计算机科学,2015(S2):135-139.

[2] WANG S,TIAN Y,XU Y.Automatic control of PTZ camera based on object detection and scene partition[C].IEEE International Conference on Signal Processing,Communications and Computing.IEEE,2015.

[3] DONG E,YAN S,TONG J,et al.Design and implementation of a moving object tracking system[C].IEEE International Conference on Mechatronics and Automation.IEEE,2015.

[4] KRISTAN M,PFLUGFELDER R,LEONARDIS A,et al.The visual object tracking VOT2014 challenge results[C].Lecture Notes in Computer Science,2014:191-217.

[5] HENRIQUES J F,CASEIRO R,MARTINS P,et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(3):1-1.

[6] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Nato Science Series Sub Series III Computer and Systems Sciences,2003,190(1):93-104.

[7] MULLER K R,MIKA S,TSUDA K.An introduction to kernel-based learning algorithms[J].IEEE Transactions on Neural Networks,2001,12(2):181-201.

[8] SCH?魻LKOPF B,SMOLA A.Learning with kernels:Support vector machines,regularization,optimization,and beyond[M].MIT Press,2002.

[9] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Acta Electronica Sinica,2003,190(1):93-104.

[10] GRAY R M.Toeplitz and circulant matrices:a review[M].Now Publishers,2006.

继续阅读>>