赵  磊1，张  健2，郭乃网1

　　（1.国家电网上海市电力公司电力科学研究院，上海200437；2.国家电网上海市电力公司奉贤供电公司，上海201400）

　　摘  要： 数据中心是数据集中存储和管理的中心，也是当前及未来发展的方向，国家电网作为国民经济的基础支撑行业，数据中心的发展对企业经营管理、电力生产、社会能源节约具有重要现实意义。本文总结了国家电网公司数据中心发展演变过程，阐述不同发展时期主要的技术特点。

　　关键词： 国家电网；数据中心；演进

　　0 引言

　　数据中心(Data Center，DC)是数据集中存储和管理的中心。在互联网大背景下，各行业业务数据类型正在发生着巨大的变化，数据中心是互联网当前及未来发展的方向。数据中心通过实现统一的数据定义与命名规范集中的数据环境，从而达到数据共享与利用的目标。按规模划分为部门级数据中心、企业级数据中心、互联网数据中心以及主机托管数据中心等。另外，根据2014年初公布的数据中心年报显示，在当前超大规模（hyperscale）数据中心统计中，服务器超过10万台的公司属于Tier1（第一等级），共有十几家，国外包括美国Google、Amazon、微软、IBM等8家，国内只有BAT（Baidu，Alibaba，Tencent）三家属于超大型数据中心范畴[1]。一个典型的数据中心常常跨多个供应商和多个产品的组件，包括主机设备、数据备份设备、数据存储设备、高可用系统、数据安全系统、数据库系统、基础设施平台等。这些组件需要放在一起，确保它们能作为一个整体运行。

　　电力行业是国民经济的基础支撑行业，电力行业信息化和电力生产自动化的发展与应用在电力企业产生了海量的数据。随着物联网、云计算、电子商务等技术在电力行业的应用，电力企业数据中心数据量从几百 TB 快速增长到几千 TB，数据增长速度越来越快，电力行业步入大数据时代。数据中心作为电力数据的有效载体，电力企业数据中心的发展直接关系数据价值的挖掘，对电力企业经营管理、电力生产、社会能源节约都具有重要的现实意义。本文主要对国家电网数据中心发展情况进行阐述。

1 电网企业信息化基础建设

　　2003年3月5日，国家电网公司成立信息化领导小组，强调加快电力信息化建设步伐。为实现“一强三优”现代公司（电网坚强、资产优良、服务优质、业绩优秀）发展战略目标,落实“三抓一创”工作思路，加快推进信息化建设，国家电网公司制定了“十一五”信息发展规划，并于2006年4月开始全面实施“SG186”工程（SG是国家电网公司英文缩写）,“1”是指构筑一体化企业级信息平台；“8”是指建设安全生产管理、营销管理、项目管理、人力资源管理、财务资金管理、物资管理、协同办公、综合管理八大业务系统；“6”是指建立健全管理控制体系、评价考核体系、安全防护体系、技术研究体系、人才队伍体系六个保障体系[2]。 “SG186”构筑一体化信息平台，建设八大业务系统,建立健全六个保障体系，为公司发展提供信息支撑。2009年底“SG186”工程全面完成，实现了业务管理的纵向贯通、横向集成。国家电网公司的信息化水平达到国内领先、国际先进，初步建成数字化电网、信息化企业。

2 数据中心建设

　　“十一五”通过SG186工程建成了覆盖公司各级单位的一体化企业级信息系统，同时也建成了覆盖总部、省(市)两级属地化数据中心。2009年6月，国家电网公司提出“十二五”信息发展规划，根据公司信息化集约发展需求，分三阶段建设集中式信息系统数据(灾备)中心，即“十二五”完成数据级和应用级灾备建设，并初步建成集中式数据中心，“十三五”全面完成集中式数据中心建设[3]。

　　2.1 数据级灾备中心

　　2011年5月，国家电网公司在国内三个城市建成数据灾备中心实现公司各类数据本端到灾备端的数据复制，灾难发生后，灾备端数据回传本端恢复使用。数据灾备中心的关注点在于数据，即灾难发生后可以确保国家电网公司的业务数据不会丢失或者遭到破坏，实现信息系统快速恢复，确保业务的连续性。数据级灾备中心示意图如图1所示。

　　数据级灾备中心通过使用数据库复制技术（Oracle Golden Gate，OGG）和存储虚拟化复制技术实现了灾备中心的数据复制技术整体架构，其中OGG软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志来获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。OGG可以在异构的IT基础（几乎包括所有常用OS平台和数据库平台）之间实现大量数据亚秒级的实时复制，从而可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用，同时它可以实现一对一、广播（一对多）、聚聚合（多对一）、双向、点对点、级联等多种灵活的拓扑结构[4]。

　　存储虚拟化就是通过映射或抽象的方式将逻辑映像与物理存储分开，增加一个资源虚拟视图的管理层面，激活一种资源并使之更易于透明控制。该技术可有效简化基础设施的管理，提高IT资源的利用率和能力，如服务器、网络或存储。国网公司选择异构模式，采取多对一的复制关系，在异构模式中使用存储虚拟化技术进行日常数据的复制及通过产生数据的快照进行数据验证。

　　2.2 应用级灾备中心

　　在数据级灾备基础上，利用应用同步技术与应用切换技术实现本端与灾备端的应用系统同步即应用级灾备中心，灾难发生后，用户经另一汇聚点访问灾备端应用，如图2所示。在应用级灾备数据中心，为了实现灾备端能顺利接管应用的运行，在生产端的数据能恢复到灾备端，要求整个应用环境能够再现灾备端。充分利用环境镜像更新、应用系统存储复制等技术确保灾备端与生产端应用配置、用户信息保持一致。两项同步技术对生成和恢复镜像工具、网络带宽、存储空间、应用服务器连接SAN环境等均有较高要求[5]。

　　利用DNS的切换技术在实现同步后进行相应数据访问。当生产中心服务器发生灾难时，灾备从域服务器自动接管生产中心主域服务器 DNS解析，修改 DNS 服务器对应域名的 A记录为灾备中心服务器IP。应用该DNS切换技术，网络结构无需特别改动，切换时不必操作客户端和服务器地址，只需修改DNS中服务器域名解析即可，体现了非常高的性价比。

3 集中式数据中心

　　在数据级灾备中心及应用级灾备中心的基础上，国家电网公司提出集中式数据中心计划，并于2015年底初步建成集中式数据中心，将三地灾备中心升级为主要生产数据中心，本地主要保留网络汇集功能，用户远程集中访问，三地互备，实现本端与灾备端的应用系统同步。灾难发生后，用户经另一汇聚点访问灾备端应用，推动数据共享和业务融合，降低信息系统建设和运维费用[6]，如图3所示。

　　数据中心变革的驱动与发展，主要来自于业务发展要求以及信息化的角色职能的变化。随着国网公司业务不断优化整合，从而要求系统更快速的响应，减少业务系统升级和推广时间；管理集约化的发展需要信息更集中统一，数据实时反应，支撑业务集中管控；流程标准化则要求实现流程统一、固化，业务应用功能规范，数据一致；专业深度融合需要信息共享集成，提升数据集成共享水平，促进业务集成融合。基于上述需求，结合国内外行业最佳实践，形成国网集中式数据中心技术架构，如图4所示，此架构涵盖网络建设、存储建设、系统软件建设及平台服务等多个方面。

　　3.1 网络建设

　　基于业务功能模块化和网络拓扑层次化的设计方法，使得网络架构在功能、容量、覆盖能力等各方面具有良好扩展能力。建设稳健高速的广域网，以支持用户的高速应用访问、跨数据中心高效的应用集成交互和灾备数据恢复，使用TRILL、OTV、LISP等虚拟化技术提高了二层网络扩展性，支持跨数据中心的资源调度。基于云计算数据中心的网络架构标准，在各个层次构建虚拟化和冗余、以支持网络的快速收敛、容错、虚拟机感知、移动的安全策略、无打扰网络和主机管理模式。基于国网等级保护安全合规性，应用集中部署和灾备策略，构建数据中心网络分区。基于网络虚拟化和主机虚拟化技术特点，标准化网络建设，如IP地址规划、VLAN规划、路由规划、QoS策略规划、安全策略规划和设备选型等。

　　3.2 存储建设

　　基于三个灾备中心、网省SAN网络现状、灾备和统一备份需求，数据中心内SAN采用双Fabric架构，核心交换机冗余架构，数据中心间的SAN互联采取SAN路由技术，基于存储虚拟化的数据复制通过FCOIP实现，使存储网络能够扩展到广域网，实现SAN网络之间透明互连和数据压缩传输。建设LAN、LAN-Free和快照+LAN-Free多种备份通道，为主机配置独立的备份HBA卡，虚拟的备份Virutual Fabric降低对生产的影响，并实现备份SAN和生产SAN的逻辑隔离。建设存储虚拟化和基于block的自动分级存储。建设分级存储的存储架构，部署存储资源池的分层服务体系。集中监控和管理复杂的异构核心存储系统，实现端到端可视化、可控化和自动化的存储资源统一管理。

　　3.3 系统软件（中间件、数据库）建设

　　标准化中间件、数据库、操作系统的种类及版本，并规范配置，简化集中后运维管理。基于中间件架构的最佳实践，构建冗余的硬件服务器平台和多中间件集群来承载应用，并结合冗余的硬件负载均衡平台实现流量分发和容错，以支持可持续的高并发业务应用访问和应用的弹性扩展。基于数据清理、表分区、数据库集群、分布式数据库（横纵、读写、生产/历史/归档分库）等技术以应对数据总量大、并发请求高的集中挑战。基于等级保护主机安全基本要求、国网安全基线管理和主机安全评估系统，完成系统软件的安全加固。基于自动化监控和自动化管理，减少运维的人工操作，降低运维难度与风险，屏蔽部分运维工作的复杂度。构建云资源管理和运维监控系统对中间件和数据库平台的负载感知，实现集中式数据中心自动化的资源调度（集群级、资源池级和数据中心级）。

　　3.4 平台服务建设

　　针对信息展现，企业门户和目录权限分别使用1+N和3+N模式集中部署，针对应用集成的ESB采用3+N，ESR采用1，BPM采用3+N,BAM采用1模式集中部署，针对数据中心，ODS采用3+N，EDW采用1，非结构化平台采用3+N模式集中部署。基于“纵横向级联、三总线贯通、本地化服务、集中化管控”的思想，打造“高效支撑、灵活扩展、集中管理、易于运维”的平台服务。

4 结论

　　本文总结了国家电网公司数据中心的发展情况，按照公司信息化发展规划纲要阐述了信息化基础建设、数据灾备中心、应用灾备中心、集中式数据中心四个方面层层递进的发展关系，梳理各个时期的相关发展的技术要点，为理解国家电网公司数据中心发展提供参考。

　　参考文献

　　[1] 张广彬，盘骏，曾智强.数据中心2013：硬件重构&软件定义[R].ZDNet企业解决方案中心|年度技术报告，2014.

　　[2] 谢洪涛.电力企业数据中心的架构设计研究[D].上海：复旦大学，2009.

　　[3] 马永波.电网企业数据中心网络虚拟化研究与应用[D].上海：上海交通大学，2012.

　　[4] 刘信，朱凯进.国家电网公司数据灾备中心数据复制方式研究[J].硅谷，2012(14)：94-95.

　　[5] 朱洪斌，王重.应用级灾备关键技术研究[J].电力信息化，2011，9(12)：40-43.

　　[6] 赵伟.2013年信息化架构调考培训材料集中式数据中心部分[Z].国网信通部技术处集中式数据中心组，2013.