《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > 监控系统中多路视频的合成方法
监控系统中多路视频的合成方法
2014年微型机与应用第12期
李广辉1, 朱俊株2, 何 洋1
1. 中国科学技术大学 电子科学与技术系 集成电路实验室2. 中国科学技术大学 信息科学实验中心, 安徽 合肥
摘要: 为了满足家庭和公共安全的需要,监控系统越来越多地出现在日常生活中。采用多个摄像头进行监控可以有效地监视各个方位,多路视频合成一路既方便观察又可以有效地减少数据存储量。而采用视频压缩芯片可以进一步降低视频数据的存储量,压缩后的视频存储后可以便于使用PC进行查询。
Abstract:
Key words :

  摘   要: 给出一种使用FPGA和ARM实现4路视频采集存储功能的嵌入式系统设计方法,介绍了FPGA控制视频AD芯片TVP5154对模拟视频进行数字转换、多路ITU656格式的视频数据的抽取方

  法、视频数据的乒乓存储以及合成后的视频数据的重组发送。

  关键词: 嵌入式系统; TVP5154; 视频合成; 乒乓存储

  为了满足家庭和公共安全的需要,监控系统越来越多地出现在日常生活中。采用多个摄像头进行监控可以有效地监视各个方位,多路视频合成一路既方便观察又可以有效地减少数据存储量。而采用视频压缩芯片可以进一步降低视频数据的存储量,压缩后的视频存储后可以便于使用PC进行查询。

  1 系统组成及工作原理

  视频AD芯片TVP5154将PAL制式模拟视频转换成ITU656格式[1]的数字视频, FPGA对ITU656格式的码流进行采集抽取并将4路视频合成1路,合成后的视频分成两路:一路由视频DA芯片SAA7121进行D/A转换,发送到LCD显示器上进行视频实时显示;另一路进入ARM9模块,由音视频编解码芯片VW2010进行视频压缩,将ITU656码流压缩成MPEG-4格式,建立文件系统进行视频存储。图1为系统的硬件结构图。

001.jpg

  考虑系统功耗、体积、成本和资源等因素,采用Xilinx公司Spartan 3E系列中的XC3S1200E芯片。TVP5154芯片[2]支持4通道 NTSC/PAL/SECAM制式的模拟视频转换成4通道的8位ITU-RBT.656格式的数字视频。本文介绍FPGA抽取4路ITU656格式视频数据,利用乒乓缓存将其有效数据合成1路[3],并重新组成ITU656码流进行发送。

  2 功能实现

  2.1 ITU656码流的抽取

  ITU656标准的数字视频1 s有25帧(50场)图像,每帧图像分为偶场和奇场。每帧图像有625行,864列。行数据分为有效行(576行)和消隐行(49行)两种。有效行分为偶场有效行(288行)和奇场有效行(288行)。图2是一帧图像数据,图中表明了偶场有效行、奇场有效行和消隐行。

002.jpg

  系统中使用4路摄像头,合成1路时每路视频只保留原来视频数据的1/4。依据ITU656标准的特点,每帧数据舍弃一场。

  TVP5154的输出[4]有两种输出方式,一种是将基准信号(EAV和SAV)作为嵌入式控制字嵌入到视频码流中,并有1路时钟信号CLK输出,频率为27 MHz;另一种由芯片的独立引脚输出,有3路同步信号FID/GLCO、HSYNC、VSYNC/PALI,分别配置为场、水平、竖直同步信号,并有1路时钟信号CLK输出,频率为27 MHz。

  系统中采用的是从数据端口接收内含嵌入式基准信号(即EAV和SAV)的ITU656标准视频数据。EAV与SAV的详细定义如表1所示。

006.jpg

  通过检测基准信号,可以区别当前行属于奇场(Odd)还是偶场(Even),是消隐行(Blank)还是有效行(Active)。依据ITU656标准,消隐行数据除了基准信号,其余均用0X8010进行填充即可。

003.jpg

  图3是有效行数据构成。每行有1 728 B,其中720个像素点占用了1 440 B,为有效数据(Valid data)。另有280 B为行消隐数据(blanking,用0X8010进行填充),剩下8 B是基准信号,分为有效数据结束的基准信号(EAV)4 B和有效数据开始的基准信号(SAV)4 B。所要抽取的就是ITU656码流的有效行的有效数据。

  ITU656标准中像素采用YUV422格式表示。每个像素点都采集亮度信息,但是色差信息则隔一个像素点采集一种。这样两个相邻像素点共有两个亮度信息、两个色差信息,按照每个信息8 bit计算,则两个像素点共4 B,平均每个像素点2 B。ITU656格式中有效行中有效数据排列顺序如图4所示。

004.jpg

  因为相邻的两个像素点共用一组色差信息,所以每个场有效行的有效数据区域采用每隔两个像素点抽取2个像素点的策略。通过每帧只留一场和每个有效行只取一半像素,每路视频实际得到的是其1/4的数据,将4路视频按一定规则存储到SRAM中就得到了一帧完整YUV422格式的图像。

  2.2 4路视频合成

  ITU656标准的一帧图像分为625×864,其中有效像素为576×720,每个像素点为2 B,每行有720个像素点,即1 440 B。不经过压缩的每幅图像为810 KB。

  系统中选取两块的容量为2 M×8 B的SRAM芯片CY7C1069AV33,它有21根地址线,其中行地址线10根,列地址线11根。一列可以存储2 048 B。

  以ITU656标准中一帧图像的顶场(即F同步信号为0)为偶场。4路视频中1、2两路只采集偶场数据,3、4两路只采集奇场数据,FPGA通过检测ITU656码流的基准信号来判断当前处于哪一场。ITU656标准所用的时钟为27 MHz,1 s有25帧(50场)图像,每场所用时间为20 ms,每个场有效行的有效数据区域采用每隔两个像素点抽取2个像素点,1个像素点用2 B数据表示,这样采样间隔为4/27 MHz=148 ns。每路每隔148 ns进行一次抽取,得到的4 B存储到SRAM中, SRAM芯片读写周期为12 ns,写入所用时间为12 ns×4=48 ns,时间上条件满足。1、2路数据要分开抽取写入,前一个148 ns抽取第1路视频数据并写入到SRAM,后一个148 ns第2路视频数据被抽取并写入SRAM中,这样做是为了合理利用SRAM的地址和数据总线,防止写入冲突。奇场有效行基准信号被检测到之后,进行3、4路数据的抽取存储,依次循环。采用如图5所示的规则。

005.jpg

  在1、2路偶场有效数据抽取完和3、4路奇场有效数据抽取完成后都存在一段时间的空白期。可以在这段时间对SRAM中存入的数据进行处理。系统在这段时间为视频数据添加时间水印,从ROM中取出子模取代要写入位置的视频数据。

  依据TVP5154芯片手册,输出的4路ITU656码流使用的是同一个时钟,4路数据同步输出。1、2路偶场和3、4路奇场视频数据完全写入第1块SRAM之后,FPGA切换到第2块SRAM继续抽取视频数据并写入,第1块SRAM中的数据则准备重组发送。

  2.3 有效数据的重组发送

  TVP5154发送的ITU656格式码流的时钟频率是27 MHz,合成后的有效数据需要按照ITU656格式发送出去,每40 ms完成一帧图像的发送[5]。在第1块SRAM数据写入完毕、第2块SRAM开始写入数据之前的这段时间,第1块SRAM中的数据需要被读取并发送出去。

  合成后视频数据的发送可以采用两种方式,与TVP5154类似,一种以带基准信号的嵌入式控制字形式,另一种以带场、水平、竖直同步信号的方式发出。系统中的视频DA芯片SAA7121、音视频编解码芯片VW2010都接收合成后的ITU656格式码流,其中VW2010只支持带基准信号的ITU656码流。所以系统中采用带基准信号的ITU656码流发送合成后的视频数据。

  系统中发送模块以27 MHz的频率读取SRAM中的数据。读取时要隔行读取,先读出偶场有效数据,再读奇场有效数据。依据ITU656标准,读取SRAM之前先发22行偶场消隐行, 再从SRAM中读取288行偶场有效数据加上基准信号和消隐数据发送出去,然后再发2行偶场消隐行;接着发出23行奇场消隐行,再从SRAM中读出288行奇场有效数据加上基准信号和消隐数据发送出去,然后再发2行奇场消隐行。至此完成一帧图像的发送。重复此过程读取第二块SRAM中的数据并发送出去,依次循环。

  偶场消隐行、奇场消隐行、偶场有效行基准信号和消隐数据以及奇场有效行基准信号和消隐数据提前存储在ROM中。

  本文介绍了一个使用FPGA和ARM设计的4路视频采集存储系统。该系统可以接收4路模拟摄像头的数据,合成1路后在LCD显示器上显示,并可以存储合成后的视频,可应用于家庭和公共环境的监控。系统的体积小,功耗低,可便携地使用。系统外围诸多外设可用于系统测试和功能拓展。

  参考文献

  [1] ITU. Recommendation BT.656-5[EB/OL].(2007-12)[2014-02].http://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.656-5-200712-I!!PDF-E.pdf.

  [2] 吴厚航.深入浅出玩转FPGA(第1版)[M].北京:北京航空航天大学出版社,2010.

  [3] 蔡青青,龚立群,黄益新.基于FPGA的视频监控系统[J].微型机与应用, 2012,31(4):37-39.

  [4] 韩峰,袁安民,赵颖辉.基于FPGA+ARM的多路视频采集系统设计[J].火力与指挥控制,2010,35(6):86-93.

  [5] 孙红亮,唐艳发,梁春锋,等. 基于FPGA+ARM的高速计算机屏幕信息记录系统[J].电子技术应用,2011,37(6):35-40.


此内容为AET网站原创,未经授权禁止转载。