《电子技术应用》
您所在的位置:首页 > 可编程逻辑 > 设计应用 > 高帧频视觉实时目标检测系统
高帧频视觉实时目标检测系统
2019年电子技术应用第4期
杨鲁新1,2,董文博1
1.中国科学院空间应用工程与技术中心 中国科学院太空应用重点实验室,北京100094; 2.中国科学院大学 计算机与控制学院,北京101408
摘要: 为了实现高速场景下的智能实时目标检测,设计了一种基于ZYNQ7000系列FPGA的高速相机平台,并利用该平台进行目标检测算法实现,形成了一套高帧频实时目标检测系统样机。该系统将高速CMOS图像信号直接接入FPGA,在本地FPGA中进行数据处理,实现目标检测算法,最终实时输出目标位置序列。FPGA设计采用流水线结构,对高速视频流图像逐级进行背景差分、二值化、质心解算的流水操作,实现了图像获取与目标检测同步进行。测试结果表明,该系统在560×480分辨率下可以实现大于1 100 f/s的实时目标检测,并输出目标位置,检测精度可达3个像素。
中图分类号: TP23
文献标识码: A
DOI:10.16157/j.issn.0258-7998.183311
中文引用格式: 杨鲁新,董文博. 高帧频视觉实时目标检测系统[J].电子技术应用,2019,45(4):109-112,117.
英文引用格式: Yang Luxin,Dong Wenbo. High-frame-rate visual real-time target detection system[J]. Application of Electronic Technique,2019,45(4):109-112,117.
High-frame-rate visual real-time target detection system
Yang Luxin1,2,Dong Wenbo1
1.Key Laboratory of Space Utilization,Technology and Engineering Center for Space Utilization,Chinese Academy of Sciences, Beijing 100094,China; 2.School of Computer and Control Engineering,University of Chinese Academy of Sciences,Beijing 101408,China
Abstract: In order to achieve intelligent real-time target detection in high-speed scenes, a high-speed camera platform is designed based on FPGA of ZYNQ7000 and target detection algorithm is implemented on it. As a result, one prototype of integrated high frame rate real-time target detection system was created. This system connects the high-speed CMOS signal to the FPGA directly, doing data processing and implementing target detection algorithm through native FPGA, and outputs real-time target position sequence eventually. This system performed pipeline operation of background differencing, binarization, and centroid detection on high-speed video stream images by using a pipeline structure of FPGA design. Due to this operation, the system achieved the synchronization of image acquisition and target detection. The experimental results show that this system can achieve real-time target detection and output target position greater than 1 100 f/s at 560×480 resolution, meanwhile, the detection accuracy can be up to 3 pixels.
Key words : ZYNQ7000;intelligent camera;high-speed camera;FPGA real-time image processing;parallel computing

0 引言

    基于机器视觉的智能目标检测系统应用非常广泛,尤其在航天军工等领域中,经常涉及高速目标的实时检测和控制,对目标检测的智能性和实时性提出了更严格的要求。在这种应用中,视觉系统相对雷达、声纳具有信息量大、抗干扰能力强、软件处理灵活、体积重量小、成本低等特点,但缺点是传输和处理需要的时间更多,因此很难满足图像信息传输和处理的实时性要求。

    高速相机一般通过GigE、Camera Link、USB3.0等接口将图像采集后传输到图像处理器上,这种方式把大量时间消耗到信息传输通道。为了解决这个问题,最好的方式是直接在近端对传感器芯片采集的图像进行处理。FPGA凭借其硬件并行运算的优势,越来越多地应用于高速相机以及高速运动检测系统中,极大地提高了图像处理速度,保证了系统的高速、实时性与准确性[1-6]。通过FPGA对图像传感器进行近端处理,可以做到采集图像与智能处理同步进行。其最需要解决的问题是优化智能算法,使得运算更加简单高效,并占用更少的资源。

    目前很多学者正致力于高速视觉目标检测系统的研究。GU Q Y等人设计了2 000 f/s的高速智能相机,可以对目标进行智能实时监测[7]。后又设计了高帧频视频拼接系统,该系统运用了改进的基于特征的视频拼接算法,能够实时合成全景图像,帧率可达500 f/s[8]。麻省理工大学的CHEN J G等人通过高速摄像机(5 000 f/s)对悬臂梁上的目标物体进行位移测量实验,通过PC对数据进行离线分析,得到了与激光测振仪和加速度计测量相一致的振动曲线。并且通过FFT算法对三组数据进行频域分析,得出了各个共振频率分量[9]

    本文以高帧频与实时性作为研究的切入点,设计了一种基于ZYNQ7000的高速相机平台,充分利用芯片上的FPGA资源及其硬件并行的优势,进行目标提取及质心检测算法的实现[10-14]。本文优化了目标检测的FPGA算法,去掉中间缓存环节,以流水线结构对图像数据进行实时流水处理,提高了目标检测算法的处理效率,可以在每帧图像采集后的有限个时钟周期内完成位置检测运算,做到同步检测。实验结果表明,该系统可以实现560×480分辨率、1 100 f/s、3像素精度的实时目标检测。

1 硬件系统设计

1.1 系统组成

    为了达到高速实时的要求,本系统采用FPGA直接驱动高速CMOS传感器的方式,实现近端处理。该检测系统主要由FPGA主控单元、CMOS图像采集单元、多电源轨供电单元、对外接口单元和光学成像单元几部分构成,如图1所示。

jsj3-t1.gif

    FPGA主控单元选用ZYNQ7020芯片,片上集成ARM硬核和FPGA资源,ARM负责对CMOS传感器进行配置,FPGA对获取图像进行数据处理、目标检测算法实现、输出图像及位置信息。

    CMOS图像采集单元选用Python300型灰度CMOS传感器,该传感器分辨率为640×480,可以达到815 f/s的全分辨率输出,并可通过开窗(ROI)操作进一步提高帧频。

    对外接口单元包括HDMI显示接口、串口、JTAG接口等电路,实现图像显示、位置坐标传输和调试下载等功能。

1.2 硬件设计

    该系统硬件电路设计为两部分:FPGA主控板和高速底板,二者通过规范化的高速连接器进行互联和信号传输。主控板选用成品高速FPGA核心板,底板则采用4层PCB板设计,整合了CMOS电路、HDMI显示电路、电源电路、串口电路等。

    底板设计主要是对上述各部分电路进行合理布局布线。其中,由于CMOS传感器输出的是低压差分信号(Low Voltage Differential Signal,LVDS),每路数据速率可以达到720 Mb/s,设计时必须考虑信号完整性。

    布线时对该信号进行了特殊的处理,严格遵循高速差分线的规则:每对差分线平行布线,尽可能保持相同的最小距离,且小于线宽;减少过孔次数;布线拐角大于90°;差分阻抗控制在100 Ω,与差分信号接收端的100 Ω端接电阻相匹配,减少信号的反射;每组差分线布线长度尽可能保持一致;各组差分线之间保持较大距离。

    通过以上措施,保证高速差分信号的信号完整性,以及各组信号较小的延迟差。

2 软件系统设计

    软件设计主要实现使能控制和寄存器配置两种功能。使能控制通过ARM处理器的IO操作控制CMOS的时钟、供电;寄存器配置是ARM通过SPI总线IP核与CMOS传感器进行通信,对一些必要的寄存器进行配置,主要包括窗口大小、图像深度、运行模式、图像数据输出等。

    通过配置CMOS内部寄存器,使CMOS传感器输出8 bit深度、560×480分辨率、大于1 000 f/s的高速视频流图像,经LVDS接口传输至FPGA进行数据处理及算法实现。

3 信号处理及检测算法FPGA实现

3.1 目标检测原理

3.1.1 目标提取

    进行目标检测,首先需要将图像中的目标与背景区分并提取出来。结合应用场景,本系统选用背景差分法加阈值分割的方法对目标进行提取。

    首先获取清晰稳定的背景图像,然后将当前帧图像与背景图像对应像素值做差,完成差分运算。接着将差值与设定阈值进行比较,若大于阈值,则判定为1,即运动前景;反之为0,即背景,生成二值化图像。

jsj3-gs1-2.gif

3.1.2 质心检测

    本系统所要检测的目标为一球体,进行阈值分割之后的二值化图像中,目标表现为一个圆形亮斑。考虑到目标的特殊性,同时配合FPGA流水线结构的特点,本文通过圆直径检测的方法,找出X方向和Y方向上直径所在直线的交叉点,从而确定圆心所在位置。

    具体方法如图2所示:将二值化图像每行的像素灰度值相加,相加之和两两比较,在直径所在的行上将会产生一个最大值,该最大值所对应的行数即视为圆心的Y坐标。列方向上进行相同操作也可得到X坐标。

jsj3-t2.gif

    圆直径检测计算圆心的方法配合FPGA流水线结构,在读取图像的同时进行处理和解算,可以最大程度减少检测延迟,提高实时性。

3.2 FPGA逻辑设计

    CMOS传感器图像数据的传输按照自左向右、自下而上逐行进行,每8个像素为一组,称为一个kernel。由于目标帧频>1 000 f/s,每帧图像更新的周期<1 ms,而其中大部分时间用来获取图像,无法在当前帧周期内完成图像缓存和处理过程。

    本系统充分利用FPGA并行运算的特点,逻辑设计上采用三级流水线结构,如图3所示,并去除中间缓存环节,在读取图像的同时将每组数据直接送入流水线逐级进行处理。该流水线能够同时处理三组数据,且每组中8个像素的操作也是同时的。如此,图像读取和处理的过程同步进行,保证了数据处理的高效性与实时性。

jsj3-t3.gif

    三级流水线结构对应了目标检测的3个步骤,逻辑设计如下:

    (1)背景差分

    在获取当前kernel值的同时,读取背景帧中对应地址的背景kernel值,将8个像素值同时对应做差,求得各像素位置的差值,存入差值寄存器,输入到下一级流水中。随后立即处理下一个kernel的像素,直到读完整幅图像。

    (2)阈值分割

    差值寄存器更新后,将8个像素差值与设定的阈值进行对比,大于阈值则二值化寄存器对应位置像素赋值为最大值,反之则赋值为0,结果输入到下一级流水。随后进行下一个kernel的分割。

    (3)质心检测

    质心检测逻辑分为两个分支,分别计算目标质心的X坐标和Y坐标。

    计算X坐标的逻辑中,设置560个列相加寄存器,每当二值化寄存器更新,则将8个二值化像素值加入对应列的列相加寄存器中。在读取完整帧图像时,比较各个列相加寄存器的值,得到最大值及对应列数,即为X坐标。

    计算Y坐标的逻辑中,设置两个寄存器,一个存储当前行像素值的和值,另一个存储行像素和值的最大值。完成一行的读取后,将和值寄存器值与最大和值寄存器的值作比较,若大于最大和值,则将最大和值更新为该行和值,并记录此时的行数;反之则保持最大和值及对应行数不变。当读取完一帧图像后,最大和值对应的行数即为质心的Y坐标。

4 系统测试与结果分析

4.1 测试环境

    通过光学平板固定相机,保持相机稳定;以白色A4纸作为背景,检测目标为一黑色碳球;镜头为焦距6 mm的工业镜头,镜头与目标距离20 cm,测试时通过平板LED灯进行补光。测试主要分为精度测试、速度测试。

4.2 精度测试

    相机开启后,首先采集500帧图像作为背景帧。后将目标固定于背景纸上,连续采样10 000次,测试单点采集精度,并通过串口输出目标位置,绘制图像。实验重复10次,测试结果如图4所示,测试的单点精度典型值为3×3(像素)。

jsj3-t4.gif

4.3 速度测试

4.3.1 帧率测试

    当相机运行在8 bit深度、560×480分辨率下,其帧率理论值为1 164 f/s。帧率大小通过以下方式进行测试:将系统置于运行模式,打开串口工具接收坐标数据,同时进行计时,通过一定时间内接收的坐标个数计算帧率。

    实验结果如下:系统运行10 s,共接收11 871个坐标数据,得到帧率测量值为1 187 f/s。考虑到计时误差的因素,可以得出,测量帧率与理论帧率基本一致,满足系统设计要求。

4.3.2 运动测试

    通过对目标物体自由落体过程进行检测,来进行系统运动测试。目标由静止状态自由落下,系统捕捉整个过程并将实时位置发送到串口。通过对接收的位置坐标进行分析,得到图5所示的运动轨迹图以及图6所示的Y轴方向位移-时间关系图。

jsj3-t5.gif

jsj3-t6.gif

    由图6可以看出,位移曲线与理论曲线趋势基本一致,且略小于理论值。测试过程中,目标实际下落距离为60 mm,理论下落时间应为0.11 s。而实际测量中,系统采集了140帧图像,实际下落时间为0.12 s,比理论时间长0.01 s。

    分析测试结果:首先应当考虑空气阻力的因素对自由落体运动产生影响,导致加速度的值小于重力加速度,进而使位移量小于理论值。另外,由图5可以看出,下落方向与Y坐标方向并非完全重合,存在X方向的位移,所以Y方向的位移小于预计值。考虑到以上两个因素的影响,可以认为相机准确检测到了物体的高速运动过程。

5 结论

    本文研制了一套高帧频视觉实时目标检测系统,从硬件设计、软件配置、FPGA算法实现分别进行了介绍。采用了FPGA近端直接进行智能处理的策略,设计了流水线处理的结构,极大地解决了高速智能视觉检测系统的实时性问题。最后对系统进行了测试,结果表明,系统实现了560×480分辨率、1 100 f/s高速视频流的实时目标检测,精度达到3个像素。该系统可以应用到各种高速检测的场景中,例如位移速度测量、振动分析、高速目标监测与控制等,后续工作将完善优化算法,提高检测的精度,并从圆形目标推广到不规则目标,提高背景变化时检测的鲁棒性。

参考文献

[1] 杜建宝,张祖锋.基于FPGA的运动目标检测系统的设计[J].仪器仪表用户,2018(3):40-42.

[2] 王晓娟,翟成瑞.基于FPGA联合Sobel算法的实时图像边沿检测系统的设计与实现[J].计算机测量与控制,2017,25(1):34-37.

[3] 钱锋,杨名宇,李刚,等.基于DSP+FPGA架构的猫眼目标快速检测系统[J].光电子·激光,2016(8):863-869.

[4] 温杰,李锦明.基于FPGA的实时图像边沿检测系统的实现[J].电子技术应用,2015,41(10):65-67.

[5] 邵鹏,杨晨,张晋敏.基于FPGA的自适应阈值运动目标检测[J].应用光学,2017,38(6):903-909.

[6] 张浩.低空目标探测雷达高速目标检测与跟踪技术研究与实现[D].成都:电子科技大学,2016.

[7] ISHII I,TATEBE T,GU Q Y,et al.2000 fps real-time vision system with high-frame-rate video recording[C].Proceedings of IEEE International Conference on Robotics & Automation,2010:1536-1541.

[8] OKUMURA K I,RAUT S,GU Q Y,et al.Real-time feature-based video mosaicing at 500 fps[C].IEEE/RSJ International Conference on Intelligent Robots and Systems.IEEE,2014:2665-2670.

[9] CHEN J G,WADHWA N,CHA Y J,et al.Modal identification of simple structures with high-speed video using motion magnification[J].Journal of Sound & Vibration,2015,345:58-71.

[10] 刘珂.基于ZYNQ的高速图像采集处理平台设计与验证[D].济南:山东大学,2016.

[11] 王莹,高美凤.基于FPGA的视频图像目标检测系统[J].计算机系统应用,2017,26(6):98-102.

[12] 刘明.基于FPGA的红外图像识别与跟踪系统[D].成都:电子科技大学,2016.

[13] 苏峰,凌清,高梅国.红外小目标实时检测系统实现[J].激光与红外,2008,38(8):826-829.

[14] 于帅.基于CMOS图像传感器的高速相机成像电路设计与研究[D].北京:中国科学院大学,2014.



作者信息:

杨鲁新1,2,董文博1

(1.中国科学院空间应用工程与技术中心 中国科学院太空应用重点实验室,北京100094;

2.中国科学院大学 计算机与控制学院,北京101408)