《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > 大数据助推公安信息化建设
大数据助推公安信息化建设
2014年微型机与应用第19期
孟剑萍1, 陈 超1 ,孟剑君2
1.中国电子科技集团公司南京第二十八研究所,江苏 南京 210007;2.山东中烟工业有限责任公司,山东 济南 250100
摘要: 近年来,随着公安信息化建设的逐步深入,大量的公安信息系统已经建立起来,这些系统的建立和使用,使公安信息系统中积累了大量的原始信息和结果信息。这些信息格式多样,容量巨大,如果不善加管理和利用,必将成为系统中的“数据包袱”,无法产生任何价值,从而造成公安财富和成果的大量浪费。本文基于公安信息化领域的大数据应用需求,建立了大数据处理的系统总体架构和数据访问服务架构,并借助几个典型应用,描述了大数据应用的功能设计以及涉及的关键技术。
Abstract:
Key words :

  摘 要: 近年来,随着公安信息化建设的逐步深入,大量的公安信息系统已经建立起来,这些系统的建立和使用,使公安信息系统中积累了大量的原始信息和结果信息。这些信息格式多样,容量巨大,如果不善加管理和利用,必将成为系统中的“数据包袱”,无法产生任何价值,从而造成公安财富和成果的大量浪费。本文基于公安信息化领域的大数据应用需求,建立了大数据处理的系统总体架构和数据访问服务架构,并借助几个典型应用,描述了大数据应用的功能设计以及涉及的关键技术。

  关键词: 大数据;视频侦查辅助智能串并案;目标轨迹跟踪

0 引言

  随着信息技术的飞速发展,信息系统的触角已经伸向各行各业各个领域,公安系统也不例外。近年来,各地公安部门已经陆续建设和部署了多种信息系统,包括接处警与指挥调度系统、案事件管理系统、情报收集和分析系统、地理信息系统、视频监控系统等,这些系统的建设和使用,一方面实现了公安部门日常工作信息化,另一方面也使各级公安部门产生和保存了大量的数据,包括警力数据、轨迹数据、案事件数据、人口数据、视频数据等,这些数据不但体量庞大,而且文档、图像、音视频等非结构化和半结构化数据所占比重也大幅度增加。由于信息存储和处理平台以及数据分析技术的制约,现有的公安信息系统已无力对这些数据进行管理以及进一步的处理、分析和利用,不能将这些数据中存在的有价值的信息挖掘出来。能否管理好这些数据,进而充分、有效地利用这些数据,发现隐藏在其背后的重要信息,为公安行业的预测预警和科学决策提供有力的依据,以提高执法效率和快速反应能力,及时预防和打击犯罪活动,已经成为一个急需解决的问题[1]。为此,将大数据处理和应用引入公安信息化建设领域,无疑具有非常积极的意义。

  那么,什么是大数据呢?大数据的典型特征通常用4V表示,分别代表规模巨大(Volume)、形式多样(Variety)、增长迅速(Velocity)、 不确定(Veracity),如何管理和处理具有4V特征的海量数据,从中挖掘有价值的信息,满足各种用户的信息使用需求,就是大数据处理与应用所要达成的主要目标。就公安信息化建设而言,大数据处理与应用的引入,旨在利用最新的技术和方法,管理大数据,分析大数据,利用大数据,使公安信息化建设跟上时代步伐。

  本文基于公安信息化领域的大数据应用需求,建立了大数据处理的系统总体架构和数据访问服务架构,并借助几个典型应用,描述了大数据应用的功能设计,以及涉及的关键技术。

1 系统总体设计

  1.1 系统总体架构

  本文中的大数据应用系统是公安信息化系统的一个有机组成部分,包括三个典型应用,分别是视频侦查辅助系统、智能串并案系统、目标轨迹跟踪系统。系统的实现以服务化云计算平台为基础,基于分层技术架构进行设计,如图1所示。

001.jpg

  基础设施层为系统提供高性能计算和云数据存储平台,分为虚拟化设施与非虚拟化设施两类:其中虚拟化设施由虚拟化软件将服务器、存储、网络等物理设施虚拟为可用的逻辑资源,可实现基础设施的按需分配和动态调整,实现资源的最大化利用;非虚拟化设施直接使用服务器、存储、网络等物理设施,主要用于分布式高性能计算。

  基础软件层运行在硬件设施之上,包括操作系统、关系型数据库管理系统、Hadoop框架以及开发工具等基本软件支撑环境,基础软件层为其他软件提供运行环境。

  支撑层由支撑服务和数据接入两部分组成,主要包括安全认证支撑平台、安全云应用服务平台、综合支撑保障技术中心、GIS服务平台、通用构件库、数据访问平台。

  应用层由大数据分析挖掘层和应用服务两部分组成,其中大数据分析挖掘层为应用服务层提供支撑,主要包括各种数据挖掘分析算法和模型,应用服务包括视频侦查辅助服务、智能串并案服务和目标轨迹跟踪服务。

  展现层包括视频侦查辅助、智能串并案和目标轨迹跟踪三部分,主要为各级公安人员提供友好的人机操作界面。

  1.2 数据访问服务架构

  为了兼顾海量数据存储处理与系统实时性的要求,大数据应用系统采用两种数据存储处理模式:人口、车辆、嫌疑人员等基础信息,以及一定时间范围内的案事件等规模有限的数据,采用Oracle、MySQL等传统关系型数据库存储,满足系统高实时性访问的需要;案事件的历史数据、视频、日志等海量数据采用Hadoop 集群中HDFS文件系统和HBase数据库存储,实现海量数据的有效存储与处理并支持系统未来的横向扩展。同时,为数据访问服务提供统一的数据访问接口,为上层应用实现透明化的数据访问服务,屏蔽系统的内部实现细节,数据访问服务架构如图2所示。

002.jpg

  关系型数据库负责实时性要求较高的业务处理,产生的历史数据定期导入Hadoop集群中HBase数据库,Hadoop集群负责视频、图片、日志等海量数据的存储,海量数据经过挖掘分析形成的结果可重新注入关系型数据库,支撑用户对挖掘分析结果的实时查询。

  内部访问接口包括面向关系型数据库的JDBC、ODBC,以及面向Hadoop集群的HBase API、HDFS URL接口、HDFS文件系统API等,主要实现对关系型数据库和Hadoop集群的数据访问。

  核心引擎是整个数据访问服务管理的核心,介于内部访问接口和对外数据访问接口之间,负责数据访问的权限管理、数据访问内容的解析与重定向、数据访问操作的缓存等工作,主要包括权限管理、数据解析、数据分类、操作队列管理、合法性检查等。

  对外数据访问接口是数据访问服务为大数据应用系统业务软件提供的统一数据访问接口,所有的数据操作均通过该接口实现。

2 大数据典型应用

  2.1 概述

  本文中大数据典型应用包括视频侦查辅助系统、智能串并案系统、目标轨迹跟踪系统,这些应用系统以服务化云计算平台为基础,对公安大数据进行全面整合、深度挖掘、统一管理共享,全面提升公安信息化系统的预警预测、科学决策和侦查破案能力。

  大数据典型应用系统是公安信息系统的一个重要组成部分,系统从公安业务系统获取业务信息,并将大数据处理结果与业务系统共享。除此之外,为满足业务需求,大数据应用系统还需要从其他行业、互联网、视频监控系统获取信息。系统对外交互关系如图3所示。

003.jpg

  2.2 功能设计

  2.2.1 视频侦查辅助

  随着视频监控技术在侦查破案、治安防控工作中的普遍应用及突出实效,各地陆续建立了视频侦查专业队伍。视频侦查专业队伍的建立,以及视频侦查手段在公安工作中的成功应用,正成为转变警务模式、提升警务效能、推动警务革命的一个全新增长期。但目前的视频侦查大多还停留在视频调看阶段,缺乏对视频信息的智能分析、检索和使用,使视频监控系统无法发挥更大效能。

  视频侦查辅助系统以海量的原始视频数据为主要信息源,结合案例库、车牌库、人员信息库等,通过视频分析、查询检索、关联分析等手段从中精炼出有价值的线索和情报,为各个业务警种提供视频调阅、分析、处理与应用服务,为公安人员快速破案提供辅助手段。

  视频侦查辅助系统提供实时在线分析和事后离线分析功能。实时在线分析功能主要包括:人脸检测、车辆检测、视频布防、人群聚集检测、徘徊检测、绊线检测、区域入侵检测、物品遗留检测、物品丢失检测、行人轨迹分析、车辆轨迹分析等。事后离线分析功能主要包括:视频数据管理、智能视频分析、人脸检测、车辆检测、视频结果管理、视频情报挖掘等。

  视频侦查辅助系统的建立,将使海量视频信息从“为我所看”层面到达“为我所用”层面,实现视频监控智能化。

  2.2.2 智能串并案

  串并案分析是案件侦破过程中的一个重要环节,目前的串并案工作主要依赖重复性人工分析,缺少智能化方法及工具,难以满足业务发展需求。

  智能串并案系统以海量的案事件数据、接处警数据为主要信息源,借助大数据处理技术,通过对案事件信息、嫌疑人员、涉案物品、线索等进行特征提取等综合分析,依据串并案规则和模型,利用关联聚类等方法,为公安人员提供串并案件辅助分析功能。从而使串并案工作逐步走向半自动化和自动化。

  智能串并案系统为公安人员提供串并案管理、案件关联分析和案件综合串并功能。串并案管理负责对串并案中涉及的案件信息、嫌疑人信息、串并结果等进行管理,是案件串并工作的基础,包含案件信息提取、串并信息管理功能。案件关联分析负责对案件信息进行聚类、相似度分析等,为后续案件串并提供支撑,包含案件比对、案件相似度分析、案件聚类分析和串并案规律挖掘。案件综合串并负责将具备串并特征的案件串并到一起形成系列案件,包含痕迹物证串并、案件要素串并、串并综合研判、系列案辅助分析。

  2.2.3 目标轨迹跟踪

  目标轨迹跟踪系统以人员、物品、车辆等为目标,通过收集来自不同行业的数据,如旅店住宿数据、网吧上网数据、话单数据、银行交易数据、航班数据、火车出行数据、视频监控数据等,利用关联查询、信息比对、多维分析等手段,对目标的轨迹进行综合分析,以图表形式构建目标的轨迹图,为案件侦破提供辅助支撑手段,并可以此为基础支持公安人员完成嫌疑人员管控。

  目标轨迹跟踪系统的主要功能是目标轨迹分析和嫌疑人员管控。目标轨迹分析负责对设定目标(人员、物品、车辆)的轨迹进行分析,系统收集来自不同行业的数据,并对这些数据进行整合,综合利用数据关联、数据挖掘等方法建立目标轨迹,并以图、表、报告等方式进行直观展现,从而为各类业务办理提供有效的支撑。目标轨迹分析的主要功能有:轨迹数据整合、特定轨迹分析、综合轨迹分析、轨迹综合查询、轨迹综合显示、轨迹预警管理。嫌疑人员一般包括刑满释放人员、在逃人员、涉毒人员等,嫌疑人员管控就是通过建立犯罪风险积分预测模型,对这类人群进行分类分级管理。系统监测这类人群的动态信息,建立嫌疑人员的行为轨迹监控网络,结合嫌疑人员的基础信息、社会关系信息等对嫌疑人员进行管控预警。嫌疑人员管控的主要功能有:嫌疑人员信息管理、嫌疑人员布控管理、嫌疑人员动向监测、嫌疑人员管控责任管理、嫌疑人员预警管理、管控流程管理、管控联动管理、综合查询统计。

  2.3 关键技术

  ⑴智能视频分析

  智能视频分析就是“给视频监控系统装上大脑”,从而使视频监控系统“有智慧、能分析、会辨别”。实现视频检索、视频增强、视频编辑、视频浓缩摘要、视频标注、行人检测、车辆检测等智能视频分析功能。为此,首先需要对算法、环境、图像质量等多种因素进行综合考虑,对基于运动背景建模与目标识别的行为分析技术和基于目标物体特征信息的特征识别技术进行研究,对产品在不同场景下的适应性和鲁棒性进行研究。其次,将智能视频分析技术与云计算技术相结合,突破传统平台性能和容量的瓶颈,为智能视频分析提供充足的计算资源和存储资源,实现智能视频分析全新应用模式的发展。

  ⑵案件智能串并

  为实现案件串并智能化,需要基于经验法和量化分析法为各类案件建立串并模型,设计相似度规则、要素权重规则。通过聚类、相似度等分析,计算案件之间的相似程度,并给出量化的输出结果。串并模型、权重规则以及串并算法都需要在实战过程中进行验证和调整,直至满足特定用户的实际需求。

  ⑶犯罪风险积分预测

  为对嫌疑人员的犯罪风险进行预测,需要克服目前单个模型“包治百病”的难题。通过对目前所积累的海量嫌疑人员数据的深度挖掘和关联分析,挖掘出人所不能预知的隐性规律,并针对各类管控对象分类搭建积分预警模型,做到“一把钥匙开一把锁”,使犯罪风险预测走向个性化和精准化。

3 结束语

  迅猛发展的经济社会已经步入“大数据”时代,公安信息化系统也无法置身事外。但是,拥有大量数据本身并不会增加任何价值,大数据的威力体现在如何处理、分析和利用这些数据[2]。目前,大数据在公安信息化建设中的应用才刚刚起步,前景广阔,任重道远。因此从现在开始,就应该让数据说话,让数据驱动决策,让大数据的价值真正地发挥出来,让大数据助推公安信息化建设更上一层楼。

  参考文献

  [1] 赵伟.数据挖掘技术在公安预测预警中的应用[J].警察技术,2009(4): 56-58.

  [2] Franks B.驾驭大数据[M]. 黄海,车皓阳,王悦,等,译. 北京:人民邮电出版社,2013.


此内容为AET网站原创,未经授权禁止转载。