《电子技术应用》
您所在的位置:首页 > 其他 > 设计应用 > 智能视频系统技术透视
智能视频系统技术透视
Roger Allan
摘要: 智能视频向各种应用扩展的驱动因素有:从模拟向数字检测的转变、改进的有线和无线网络,以及更成熟的软件。最新系统更是从基本图像检测和捕捉功能发展到图像分析系统,这要归功于强大的视频处理硬件和智能视频软件。今天的智能相机正在从功能上替代昨天基于PC的系统。这些越来越小的相机可以在输出与其它电路之间提供速度更快、带宽更高的连接,而且有些功能可以做在检测芯片上,更多功能做在相机盒内。以前这些功能需要用外部PC平台或主机进行处理。
Abstract:
Key words :

智能视频向各种应用扩展的驱动因素有:从模拟向数字检测的转变、改进的有线和无线网络,以及更成熟的软件。最新系统更是从基本图像检测和捕捉功能发展到图像分析系统,这要归功于强大的视频处理硬件和智能视频软件。今天的智能相机正在从功能上替代昨天基于PC的系统。这些越来越小的相机可以在输出与其它电路之间提供速度更快、带宽更高的连接,而且有些功能可以做在检测芯片上,更多功能做在相机盒内。以前这些功能需要用外部PC平台或主机进行处理。


从商业角度看,智能视频已经非常实用。在制造过程中,不使用智能视频系统是不可能对高速生产线生产的产品进行质量和缺陷检查的。在监控系统中,负责查看机场或其它公共场所监视器的安全人员面临着锁定坏人和战胜厌倦的双重挑战。智能视频监控系统不仅更加警醒,而且更加准确。借助于越来越强大的智能,它们能区分被观察个体的细微差别,并做出人工手段即使可能也很困难但又很必要的关键分析和判断。


除了通过使用片上或相机盒内的软硬件取得更强的智能外,视频相机还能支持第三方供应商提供的可下载模块。一些公司提供全面集成的相机解决方案,而其它公司则提供更大的灵活性。这里的灵活性意思是,用户可以通过精确调整相机系统来观察和跟踪特定类型的对象或具有某些特殊性的许多对象。趋势是从相机传感器高速收集少量数据进行后续分析,从而实现对被观察图像更智能的分析。


美国和其它国家的许多大城市正在使用尖端的视频监控技术来改进它们的安全基础设施。例如芝加哥的I11公司已经与IBM合作实现了号称美国最先进的智能视频监控网络。该系统只要检测到特定的车辆牌照号码、观察到绕特定区域行进的车辆或侦察到闲置目标都会向警方提出警示。


"视频监控对数字视频芯片提供商来说是发展最快的市场。"Mobilygen公司总裁兼首席执行官Chris Day表示。据安全防范产品行业协会提交的中国安全市场报告透露,中国的视频安全和保护市场(包括火灾和安全监视、安全监控和门禁系统)将从2005年的63亿美元猛增到2010年的180亿美元。


一般来说,共有两种智能相机系统:智能或IP相机和嵌入式系统。智能相机集成了相机传感器和处理电路。在嵌入式系统中,视频检测单独在一个位置,然后通过无线或有线方式连接到另外一个地方的嵌入式系统,这个嵌入式系统由一块帧捕捉器电路板和一个相机传感器外部的处理器组成。不过这些差异正在逐渐缩小。一些智能相机已经在检测芯片或安装芯片的同一盒子内拥有很强的智能,以至于许多制造商将它们看作是嵌入式系统。然而,具体应用通常都会规定需要的相机系统类型。


智能相机在具有空间挑战性的应用场合显得更加有用,不过一般它们没有嵌入式方案那么强的处理能力。虽然它们通常比嵌入式相机系统更便宜,但在使用多个相机的情况下成本优势将很快消失殆尽。嵌入式方法将提供更大的编程灵活性,并且在需要使用多个相机观察许多场景的应用场合更能发挥作用。另外,它能支持不同制造商提供的多种相机,这是另外一个节省空间的特点,因为一个嵌入式单元可以服务多个相机。而且它在选择相机信号接口时可以提供更大的自由度。


Leutron Vision公司的LVmPC micro PC就是使用了嵌入式方案而节省了嵌入式图像应用中的大量空间。它在91x92x182mm的很小尺寸内整合了创新的笔记本电脑和帧捕捉器技术。LVmPC micro PC专为Windows、Linux和VxWorks等流行操作系统设计,使用的是Intel的超低功率Pentium III和赛扬处理器。另外一个空间节省的案例是Cognex公司提供的基于CCD(电荷耦合器件)的In-Sight Micro灵巧相机,它的尺寸只有30x30x60mm(图1)。它设计用于安装在机器人、生产线和机械装置中的狭小空间内。灵活的安装功能和非线性的校准工具允许该相机以最大45°的角度安装在难以够着的地方。

 

图1:微型化是Cognex公司推出的这款CCD In-Sight Micro相机的主要特点.它的尺寸仅30x30x60mm,适合非常紧凑的空间使用.
图1:微型化是Cognex公司推出的这款CCD In-Sight Micro相机的主要特点。它的尺寸仅30x30x60mm,适合非常紧凑的空间使用

大多数机器视觉相机在低成本很重要、性能要求不是很高的应用场合使用CMOS传感器。而CCD成像器主要用于要求高性能的应用。几乎一半的图像传感器是模拟的,另外一半是数字的。这两种类型传感器一直推动着机器视觉相机向小型化方向发展。不过CMOS相机的性能并不是落后很多。Basler Vision Technologies AG公司推出的CMOS A400区域扫描系列相机的使用对象就是要求高分辨率(最大到4兆像素)和高速度(96帧/秒)的工业用户。它的三种图像斑点调整功能使图像质量有了很大的改善。每台相机中内嵌的多重排序器可以让用户无延时地逐帧修改自动化光学检查设置。标准的Camera Link接口简化了系统集成,并且在改变相机或帧捕捉器时提供更大的灵活性。与许多其它制造商一样,Basler公司也提供CCD相机。


最新相机传感器的先进性通常表现在光学方面,而不是使用的传感器类型。例如,Tessera Technologies公司正在推进OptiML Zoom许可。该功能结合了独特的镜头设计和专门算法来代替传统的机械缩放功能,可以在一个紧凑的相机模块中实现3倍的缩放能力。OptiML Zoom允许相机手机模块制造商以比传统机械方法更低的成本集成优秀的缩放功能,而且不需要任何活动部件。另外,它能减小相机模块的总体尺寸。追求高分辨率高质量相机图像的设计师可能会考虑来自FotoNation公司的硬件加速Fast-Track IP。它可以使数码相机和相机手机中的脸部跟踪质量和性能最多提高4倍。这是通过集成人脸的位置和曝光信息与相机的曝光反馈系统实现的。


如今的灵巧相机提供内嵌"视频分析器",这是20世纪90年代出现、描述安全和监控系统中计算机视觉智能的术语。强大的DSP现在可以执行要求更严格的视频系统用软件应用程序。它们组成了象西门子Sistore CX编解码器等智能视频编解码器的处理内核。与主机或PC一起,它们能够完成综合管理、存储以及视频系统信息的组网任务。


Lumenera公司基于CCD的Li045就是一个典型的灵巧相机例子,它采用了TI公司的达芬奇处理器、Pixim的Orca芯片组以及能够克服挑战性照明环境中暗淡图像的超宽带(120dB)传感器。Li045可以在各种照明条件下提供高品质颜色再现和图像质量,并提供可选的MJPEG和H.264压缩格式。该公司最近还推出了Lm085 mini相机,这种小型(44x44x56mm)CMOS相机提供100dB动态范围,适用于具有不受控照明条件和严格空间约束的挑战性工业环境(图2)。

 

图2:小体积是机器视觉相机的典型特征.比如Lumenera公司提供的CMOS Lm085 mini型相机就只有44x44x56mm大小,可提供100dB的动态范围(左).稍大一点的CCD Li045则有更宽的120dB动态范围(右).
图2:小体积是机器视觉相机的典型特征。比如Lumenera公司提供的CMOS Lm085 mini型相机就只有44x44x56mm大小,可提供100dB的动态范围(左)。稍大一点的CCD Li045则有更宽的120dB动态范围(右)。

"TI公司在过去二十年中率先开发出了许多用于视频分析器的算法。"TI公司员工、TI视频与图像处理实验室总监Bruce Flinchbaugh表示。他指出,目前的许多智能相机建立在TI公司带许多处理器的达芬奇平台之上,而TI的TMS320DM642 DSP在降低视频分析应用、特别是数字录像机成本方面有很大的作用。TMS320DM642采用的是TI公司开发的第二代高性能、先进VelociTI甚长指令字(VLIW)架构,在720MHz时钟速率时性能可达5760MIPS。


TI的DM355IPNC-MT-5高清晰度IP网络相机参考设计采用了达芬奇TMS320DM355数字媒体处理器和Aptina的500万像素高清安全图像传感器。它主要用于IP监控网络,能以模拟视频相机的价格方便灵活地升级到IP视频。TI的TMS320DM6446达芬奇平台和Pixim公司的传感器在Nuvation公司超紧凑IP以太网供电(PoE)相机中也得到了应用(图3)。最近,Nuvation公司还推出了4款针对达芬奇平台的视频参考设计来加快产品的上市时间。


Apollo Imaging Technologies公司也在有关相机中使用了TI公司的数字媒体处理器,这些相机主要被OEM用于火灾、烟雾和入侵检测、真彩夜视、高速数字相机/事件分析和无人驾驶飞机(UAV)视频链接。该公司提供低成本的成像视频分析器开发平台。


Cernium公司的Edge产品则整合了该公司的P-Core分析专利技术以及象TI的DM642和达芬奇处理器等DSP平台的便携性。这种产品具有比DSP产品单独使用时更高的性能,因为分析器可应用于多个输入上的完整行为组。
 

图3:Nuvation公司带以太网供电功能的IP相机是针对机器视觉应用的完整参考设计,它采用了Pixim公司的ORCA成像芯片组,TI的达芬奇DM6446 DSP以及数字媒体软件编解码器.
图3:Nuvation公司带以太网供电功能的IP相机是针对机器视觉应用的完整参考设计,它采用了Pixim公司的ORCA成像芯片组、TI的达芬奇DM6446 DSP以及数字媒体软件编解码器。

市场上还有许多其它处理器可用于视频系统,包括PowerPC;Intel的Pentium III、赛扬和X86处理器;AMD的Geode SC2200等。Arbor Systems公司则使用ADI公司的Blackfin ADSP-BF533 DSP设计他们的AXT100热红外成像相机(图4)。

 

 

图4:诸如Ann Arbor Systems公司的AXT1000之类的相机主要用于热红外成像应用,它采用模拟器件公司的Blackfin ADSP-BF533 DSP.
图4:诸如Ann Arbor Systems公司的AXT1000之类的相机主要用于热红外成像应用,它采用模拟器件公司的Blackfin ADSP-BF533 DSP。

 

新创企业Stretch公司提供的基于其S6000a可配置处理器的打包设计和软件可用来构建低成本网络型监控相机和数字录像机。该公司表示,这种方案能以D1标准分辨率提供30帧/秒的H.264编解码视频流,其中的处理器成本只有6.25美元。

 

Apollo Imaging Technologies等一些公司试图向为OEM厂商设计的相机中集成同样多的视频电路,这些OEM主要是专业从事视频分析器开发的厂商。为了与高性能图像处理硬件开发竞争,这些OEM还拥有主要是图像处理领域中的IP。这些产品在功能上类似开发平台,通常具有足够的能力替换传统的相机、PC、帧捕捉器和相关电缆、电源及其它元件,并且所有功能都在一个工业相机体积内实现。

 

开发工具和软件及算法是高性价比地开发智能视频系统同时满足上市时间要求的关键。美国国家仪器(NI)公司的NI Vision就代表了功能更强大和更全面的开发与软件平台之一。

 

NI Vision的硬件范围从用于PCI和PXI系统的插入式器件到传感器本身上面的图像处理以及NI的灵巧相机(图5)。选件包括能从数千相机捕获图像的图像捕获软件、顶尖图像处理库以及用于工业机器视觉应用的可配置接口。"重要的是,一款灵巧相机的软件平台应足够开放和灵活,能够处理各种不同要求。这就是NI方案背后的设计理念。"负责NI Vision的产品营销经理Matt Slaughter表示,"许多人正在努力使现成图像系统用起来更容易,并且不需要投入很多钱。"

 

 

图5:国家仪器(NI)公司的NI 1742灵巧相机在CCD图像传感器上直接进行图像处理.它开发了全功能的嵌入式设备,非常适合自动化检查应用使用.
图5:国家仪器(NI)公司的NI 1742灵巧相机在CCD图像传感器上直接进行图像处理。它开发了全功能的嵌入式设备,非常适合自动化检查应用使用。

 

当Sylvania Lighting公司想要集成机器视觉与运动软硬件以生产改进型金属卤化物灯时,公司毫不迟疑地求助于NI的产品。该公司选用了基于Windows的PC以及带板载FPGA的NI PCI7831R可配置I/O板、NI PCI-7356运动电路板和NI PCI-8252 IEEE 1394相机接口板。开发软件包括NI LabVIEW、NI的Vision Assistant和NI的LabVIEW FPGA.许多流行的操作系统被用于开发智能视频系统,包括Windows CE、XP、.NET、XP embedded(XPe)和VxWorks。Linux及其开源平台是另一种受欢迎的软件选择。

 

 

图6:Dalsa公司的Genie Color系列相机是对该公司用于工业成像应用的CCD数码相机的最新补充,它遵循GbE接口标准.
图6:Dalsa公司的Genie Color系列相机是对该公司用于工业成像应用的CCD数码相机的最新补充,它遵循GbE接口标准。

 

目前有多种标准的模拟和数字接口可用,包括火线(IEEE 1394)、GbE(千兆以太网)、USB和Camera Link。每种接口提供不同的数字传输速率、电缆长度和类型、接口板、支持的相机数量和即插即用功能(参见Drill Deeper 18804"用于相机信号的不同接口")。

 

GbE是一种流行的接口标准,主要用于高性能机器视觉工业相机,如Dalsa公司的Genie Color系列(图6)。自动化成像协会(AIA)负责监视该标准的开发进展和管理。GbE接口在长达150米距离内可以提供高达1000Mbps的数据传送速率,远远超过火线、USB和Camera Link的性能。

 

 

图7:欧洲机器视觉协会制订的GenlCam标准作为一个统一的应用编程接口可与各种品牌相机,传输层接口和软件库链接.
图7:欧洲机器视觉协会制订的GenlCam标准作为一个统一的应用编程接口可与各种品牌相机、传输层接口和软件库链接。

 

不断提高的相机智能和更强的功能迫切需要一种全面的应用编程接口(API)。鉴于此,欧洲机器视觉协会(EMVA)开发了GenICam标准,它涵盖相机、传输层接口类型和软件库,而与类型或品牌无关(图7)。该标准由用于配置相机的GenApi、针对普通相机特性的标准命名惯例SFNC和用于帧捕捉器的传送层接口GenTL组成。GenApi是官方标准1.1.0的一部分。GenTL规范有望很快完成。无线视频连接性能也有了改善。开发用于提升无线视频信号覆盖范围和传送速率的802.11n协议允许使用先进的加密技术,工作频率为2.4GHz和5GHz,最大数据传送率可达248Mbps。

此内容为AET网站原创,未经授权禁止转载。