《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > 基于Wonderware平台的自定义 历史数据库的设计与实现
基于Wonderware平台的自定义 历史数据库的设计与实现
2015年微型机与应用第17期
王立烁,张兴波
(北京国际系统控制有限公司,北京 100083)
摘要: 针对Wonderware平台自带的历史数据服务无法满足大量历史数据同时存储的问题,对该平台的历史数据服务进行了研究和分析,在保证Wonderware平台存储历史数据的正确性、及时性和完整性的前提下,结合Wonderware平台与.NET能够兼容的特性,设计了一种新的历史数据存储方法,使用C#语言完成了基于.NET的自定义历史数据库的开发并投入实际使用,运行效果良好。
Abstract:
Key words :

王立烁,张兴波

(北京国际系统控制有限公司,北京 100083)

  摘  要: 针对Wonderware平台自带的历史数据服务无法满足大量历史数据同时存储的问题,对该平台的历史数据服务进行了研究和分析,在保证Wonderware平台存储历史数据的正确性、及时性和完整性的前提下,结合Wonderware平台与.NET能够兼容的特性,设计了一种新的历史数据存储方法,使用C#语言完成了基于.NET的自定义历史数据库的开发并投入实际使用,运行效果良好。

  关键词: Wonderware;历史数据服务;自定义历史数据库;C#

0 引言

  美国Wonderware公司创建于1987年4月,致力于开发基于IBM PC及其兼容计算机的、应用于工业及过程自动化领域的人机界面(HMI)软件,是一家领先的工业自动化与信息软件解决方案供应商[1]。Wonderware平台是美国Wonderware公司为适应严格的实时工业环境而开发的产品,其提供了一个工业化的应用服务、一个强大的历史数据库服务、一个易于使用的信息服务、以及无与伦比的连通性[2]。但是在实际使用过程中发现,当历史数据的数据量多到一定程度时,该平台自带的历史数据库服务无法满足同时存储这些数据的要求,历史服务器的日志中会出现告警和错误。针对该问题,本文深入研究了Wonderware平台收集历史数据的体系结构,摒弃了平台自带的历史数据库服务,并在此基础上研发了一种新的历史数据库,保证了在数据量巨大的情况下历史数据仍然能够正常进行存储。

1 历史数据存储体系结构

  1.1 Wonderware平台配置历史数据库服务

  在Wonderware平台的IDE中可以实现对整个平台服务的配置,在Platfrom级别和Engine级别的对象下包含历史数据服务的配置[3]。如图1所示,选中“Enable Storage To Historian”后,就开启了历史数据服务功能,经过正确配置后就可将该引擎下所有的历史数据存入历史服务器。

001.jpg

  通过图1中的几个关键配置项,可以实现历史数据的存储。其中Historian用来配置历史数据服务器名称,Storeforward deletion threshold用来配置存储转发数据块的删除临界值,Storeforward minimum duration用来配置存储转发最小间隔,Forwarding chunk size用来配置转发数据块大小。通过这些配置可以发现,Wonderware自带历史数据服务的关键是通过存储转发完成历史数据的存储,即通过简洁的界面配置就可在系统各平台内进行历史数据存储。但是,在实际运行中发现,当Wonderware平台接入的数据点非常多时,历史数据服务存在低概率出现错误的可能性,会影响系统的正常使用。

  1.2 自定义历史数据库的数据存储结构

  数据库连接是一种关键的、有限的昂贵资源,建立一个数据库连接需要消耗大量系统资源,频繁地创建数据库连接会大大削弱应用性能,所以在自定义的历史数据库中,如何尽可能减少数据库的连接是关键所在。通过研究Wonderware平台自带的历史数据服务可以发现,历史数据通过存储转发策略进行存库。同样,在自定义历史数据库中也采用这种存储转发的策略,使用ADO.NET技术,将系统接收的数据连续存入中转文件[4],然后再将中转文件内容复制到历史数据库,每一个中转文件一旦被成功读取并将数据存储到数据库后就被删除,这样就在极大程度上节省了宝贵的数据库资源,降低了系统负载,杜绝历史数据存库的失败。本文中,在遥测对象中增加脚本程序,使用接口函数接收数据,对数据进行周期性和突发性地存储,然后将数据存入本地文件。在引擎中增加脚本程序,使用接口函数获取本地文件,将本地文件周期性存入历史数据库,然后删除已经被读取过的文件。流程如图2。

002.jpg

2 自定义历史数据库的设计

  Wonderware平台以开发工具包的形式扩展了Microsoft Visual Studio.NET,并且在脚本中支持绝大部分 .NET函数。但是由于在脚本中进行代码编辑不方便,并且有些函数和类库使用起来不如在.NET中简单,所以此处采用编写外部函数库的方法,使用C#语言完成自定义函数库的开发。数据库平台选用SQL Server。

  2.1 将历史数据存入中转文件

  历史数据分为周期性存储和突发性存储,定义周期性存储间隔为5 s,当历史数据发生突变并且变化范围超过阈值时,进行突发性存储。在每一个对象的Function Script中获取数据后,将数据用“,”分隔,拼接成string类型的字符串,先放在动态数组里。动态数组是C#提供的一种优秀的数据结构,可以动态地分配存储空间,而不是像普通数组那样必须先定义好数组长度,所以使用List可以有效节省内存。

  代码如下:

  string combinedata=time+“,”+name+“,”+value+“,”+quality;

  public static List<string> Liststr=new List<string>();

  Liststr.Add(combinedata);

  中转文件可以采用多种格式,此处采用TXT文件,按照存储周期为1 min将数组存入TXT文件。TXT文件被特定的命名格式(如“站名-点名-时间精确到分”)存放在D盘的名为“Data”的文件夹下。代码如下:

  string Path="D:\\中转文件\\Engine_"+EngineName+"_当前时间"+"("+DateTime.Now.ToString("yyyyMMdd_HHmm")+").txt";//时间精确到分钟

  2.2 将中转文件数据存入数据库

  如果是用readline方法来逐行读取TXT中的数据无疑是最容易被想到的办法,但是这样会大大降低数据存储速度,并且会持续性占用大量数据库连接资源。所以需要一种更加优化的方法来进行数据的存储。

  利用ADO.NET中的Datatable技术和SqlBulkCopy类,将TXT文本文件中的数据存储到数据表中,然后将数据表中的数据复制到数据库中。虽然使用SqlBulkCopy类只能向SQL Server表写入数据,但数据源不限于SQL Server,可以使用任何数据源,只要数据可加载到DataTable实例或可使用IDataReader实例读取数据即可[5]。此方法可以大量节省数据库资源,是一种高效的处理方式。

  创建DataTable实例:

  DataTable dt=new DataTable();

  dt.Columns.Add(new DataColumn("时间"));

  dt.Columns.Add(new DataColumn("名称"));

  dt.Columns.Add(new DataColumn("数据"));

  dt.Columns.Add(new DataColumn("质量"));

  …

  SqlBulkCopy将DataTable复制到数据库中:

  System.Data.SqlClient.SqlBulkCopy sbc=new

  System.Data.SqlClient.SqlBulkCopy(SQL

  ConnectionString);

  {

  …

  sbc.BulkCopyTimeout=5000;

  sbc.BatchSize=dt.Rows.Count;

  sbc.DestinationTableName="中转文件";

  sbc.WriteToServer(dt);

  …

  }

3 结束语

  使用C#语言设计的基于.NET平台的历史数据库具有存储速度快、占用资源少、保证数据完整性的优点,与Wonderware自带的历史数据库服务相比具有更优良的海量数据存储性能。目前该数据库已经应用到远动监控系统中,运行效果良好。

  参考文献

  [1] Invensys Systems, Inc. Alarm toolkit guide[R]. UK: Invensys Systems, Inc, 2009.

  [2] Invensys Systems, Inc. IT alarms and events[R]. UK: Inven sys Systems, Inc, 2009.

  [3] Anon. Wonderware[EB/OL]. (2013-12-19)[2015-05-10]. http://www.baike.baidu.com.

  [4] NAGEL C.Professional C#4 and .NET 4[M].李铭,译.北京:清华大学出版社,2010.

  [5] 张奇,李律松,卫建伟,等.Visual C#数据库项目案例导航[M].北京:清华大学出版社,2005.


此内容为AET网站原创,未经授权禁止转载。