《电子技术应用》
您所在的位置:首页 > 通信与网络 > 业界动态 > 网格技术在行业资源共享中的应用研究

网格技术在行业资源共享中的应用研究

2008-05-06
作者:蒋漪涟,崔杜武

  摘 要: 为解决行业资源共享" title="资源共享">资源共享问题,提出了行业资源共享的网格系统的体系结构以及资源管理模式。实现了行业资源共享并阐述了行业资源管理系统的应用流程及其特点。
  关键词: 网格技术" title="网格技术">网格技术 资源共享 网格体系结构 资源管理


  随着更多的计算机技术渗透到因特网,网格继Internet和Web之后在20世纪90年代末又成为研究热点。
  网格是构筑在因特网上的一组新兴技术,它将高速互联网、高性能计算" title="高性能计算">高性能计算机、大型数据库、传感器、远程设备等融为一体,为科技人员和普通百姓提供了更多的资源、功能和交互性。网格是从电力网的概念借鉴过来的,其最终目的是希望用户在使用网格时就像使用电力那样,方便地使用分布在网络上强大而丰富的各种资源,如计算资源、存储资源、数据资源、信息资源、软件资源、通信资源、知识资源和专家资源等。网格具有高性能、一体化、资源共享、协同工作、知识生产等特点,是目前关系科研、经济、社会、国防的重要国家基础设施,在国内外己引起广泛的关注。随着网格体系和技术标准的日趋成熟和完善,网格将会在更广泛的领域得到推广和应用[1]
  在美国,网格研究人员着重于计算网格和数据网格,即TeraGrid和GIG(全球信息网格)。在欧洲则着重于网格应用,其网格工程包括数据网格、e-learning和e-culture[4]。而在其他国家,如日本、新加坡、印度则侧重于构建网格程序。
  中国也很重视网格研究,目前已有一些重点项目得到政府的支持,如863工程支持的国家网格,教育部支持的中国网格工程,上海市政支持的上海网格等[5]
1 网格技术
1.1 网格技术的概念及其特点

  网格通过高速共享网络连接地理上广泛分布的异构资源(包括超级计算系统、存储器、数据库、软件、科学仪器和分布式文件系统等),并在同一时间利用这些资源来协同解决那些通常需要许多CPU或存储器处理和访问的单个问题。在形成网格状的高性能计算网中,各个资源就是网格的节点[2]
  网格的特点是可以根据问题对资源的需求,动态地组织网络上的资源,实现计算资源共享。这种资源的共享不仅仅是文件的交换共享,还可以是直接对计算机硬件资源、软件资源、网络和数据资源等直接访问,并且这种共享是动态的且高度可控的,资源的提供者和消费者、共享内容、共享发生的条件都是严格定义的。所有遵守这些共享规则的企业可以构成一个虚拟组织,从而实现虚拟组织内部的资源共享。
1.2 网格的体系结构
  网格体系结构的构建是关于如何建造网格的技术,包括对网格基本组成部分和各部分功能的定义和描述,对网格各部分相互关系与集成方法的规定,以及对网格有效运行机制的刻画。显然,网格体系结构是网格最核心的部分。只有建立合理的网格体系结构,才能够设计和建造出好的网格,才能使网格有效地发挥作用。
  迄今为止,比较重要且有影响的网格体系结构是五层沙漏结构。该结构是基于美国国家实验室的网格研发项目Globus提出来的,是一种以协议为中心的“协议结构”[3]。该结构强调协议在网格的资源共享和互操作中的地位,通过协议实现一种机制,使虚拟组织的用户与资源之间可以协商资源的使用,建立共享关系,并且还可以进一步地管理和开发新的共享关系。这一标准化的开放结构对网格的扩展性、互操作性、一致性以及代码共享都很有好处。图1所示为五层沙漏结构的形状图。


  这五层结构由下而上分别是构造层、连接层、资源层、汇聚层和应用层,各层涵义如下:
  (1)构造层(Fabric)是物理实体或逻辑实体,实现局部资源的控制,并向上提供共享访问资源,如高性能计算资源、大型数据库存储资源、高速网络资源、传感器和远程设备等。本层提供的功能为更上层的使用提供了基础,所提供的功能越丰富,更上层就越能构造更复杂的应用。
  (2)连接层(Connectivity)定义网格中网络事务的核心通信协议和安全协议。通信协议包括传输、路由、命名等;安全协议提供通信服务上的安全加密机制,用于识别用户和资源,安全协议为建立用户和资源之间的信任关系提供了技术支持。构造层中提交的各种资源间的数据交换都在这一层的控制下实现,各资源间的认证、安全控制也在这里实现。
  (3)资源层(Resource)在一个单独的资源上定义提供共享操作的协议,该协议实现调用构造层的功能以访问和控制本地资源。它包含信息协议和管理协议两个协议族。在资源层只关心单个的资源,不关心全局的状态和跨域的交互行为。
  (4)汇聚层(Collective)将资源层提交的受控资源汇聚在一起,供虚拟组织的应用程序共享和调用。汇聚层不关心单个资源的管理,关心的是全局的状态和跨域的交互行为。因此,该层提供的协议服务是很广泛的,开发者可以根据自己的需要,在使用下层提供的服务的基础上进行再开发。汇聚层也提出了一些通用的协议和服务,如目录服务、协同分配调度、经纪人服务、数据复制服务、软件发现服务、团体授权服务、团体记账和支付服务等。
  (5)应用层(Application)是用户利用下层提供的API 或SDK实现一些特定功能。
2 行业资源共享系统的网格体系结构与应用
  当今的经济发展趋于国际化,我国各行各业的企业所面临的竞争压力越来越大,而且这些竞争压力主要由各个企业单独承担,而有些发达国家却出现了企业联合竞标、设计与制造的趋势。以一个企业的能力来与一个行业的企业进行竞争,必定处于弱势。为了在激烈的国际市场竞争中立于不败之地,需要充分利用行业内的资源,组建行业性的企业联盟,以提高国际竞争力。这需要一个支持行业性的开放资源服务的平台。 而网格技术的发展正好为行业资源共享提供一个很好的集成化的平台环境。
2.1 行业资源共享系统的网格体系结构
  行业资源共享系统的网格体系结构如图2所示。此系统从下而上分别是网格资源域、网格中间件、开发规范和管理控制平台和应用层。


  (1)网格资源域包括地理上分布的可以通过 Internet访问到的所有分布式异构资源,其中有运行不同操作系统的计算机、工作站、存储设备、各种数据库、仪器设备和应用系统" title="应用系统">应用系统等。它构成整个网格系统的硬件基础。
  (2)网格中间件能真正实现物理上连接、逻辑上孤立的网格资源的有效共享,屏蔽下层结构的分布性和异构性,向上层提供统一、透明的使用接口。网格中间件从下到上由资源网格、信息资源网格、服务网格组成。
  ①资源网格是行业资源共享系统基础组成部分,负责本节点域的创建和属性的收集,动态监测和调度本地资源,及时地将本地网格资源的信息传送给上层的信息服务" title="信息服务">信息服务模块。此外,它还负责接收由网格请求代理提交的任务并负责运行相应的资源,为行业资源应用提供基本框架。相当于网格的构造层和连接层。
  ②信息资源网格基于资源网格创建,是行业资源共享系统的重要组成部分。为了能为整个行业联盟中的企业提供有用的信息服务,就需要对资源网格提供的数据信息加以分析整理,并且通过信息网格,将企业所需的信息提供给服务网格。主要功能有信息服务、贸易服务等。信息服务动态收集各个资源节点的信息,并进行分析整理;贸易服务提供网格请求代理和资源域内节点协商价格的功能,相当于网格的资源层。
  ③服务网格是行业资源共享系统的核心组成部分,对全局资源进行统一的管理和分配。服务网格提供资源共享系统所支持的各种服务,同时对各应用系统提供服务支持,这种服务支持包括信息服务、计算服务和信息处理服务等。服务网格提供的服务包括建立虚拟企业联盟、使不同企业的人和系统可以协同和交互等,即实现整个行业的资源共享。它既提供通用性的服务接口,也可以根据虚拟组织或应用领域的需要提供特定服务接口。
  (3)开发规范与管理控制平台是整个系统的中央控制单元,通过该平台的集中统一控制,使得服务网格、信息资源网格、资源网格的各个子系统符合统一的规范,利于实现各子系统间的互通、互联和互操作,进而在管理控制平台的统一控制、协调下发挥出系统的最大效用。
  (4)应用层通过调用网格中间件,共享网格上的资源完成任务。它应该根据不同企业的具体要求,建立相应的应用系统来满足各企业的不同要求。
2.2 行业资源共享系统的资源管理模式
  行业资源共享系统采用图3所示的网络拓扑图。企业内部通过局域网实现资源的互联、互通,其资源信息通过其所在的局域网内的服务器统一管理。行业中各个企业通过接入广域网集合海量网格计算所需的网格资源。通常,这些企业在地域上广泛分布,难以集中管理。因此采用分布式的资源管理方法较为实际,即对于分布于不同局域网中的网格资源,各服务器通过分布式数据库建立自己的资源信息库,服务器之间通过分布式数据库交互信息为资源分配和作业调度服务;对于一个具体的任务可以通过各个局域网服务器获得各自的局域网资源信息,从而形成动态企业联盟。


  在这个网格系统中,不存在全局控制的调度系统,每个企业的地位都是平等的。这样的网格具有很强的可扩展性和容错能力,系统内任何一个节点发生故障都不会对整个系统造成太大的影响。
2.3 行业资源共享系统的应用流程
  系统应用的基本流程:①用户通过应用系统从网格节点登录,在用户通过登录中间件的身份认证后,用户向系统提交任务;②服务网格对任务进行分割,通过信息资源网格查找可利用资源及节点并进行贸易协商,然后下达任务到指定资源;③任务被分配给资源网格上的不同节点来共同完成,然后将任务结果连同任务完成报告返回,再由服务网格将结果合并后通过用户应用系统提交给用户。
  为了说明行业资源共享系统的特点,现举一个具体的例子。在发电行业中,企业A想分析整个发电行业的发展现状和未来趋势,需要用到行业内各个发电企业的相关数据,同时需要进行大量的数据处理和数据挖掘。但是企业A并没有处理大量数据和数据挖掘的能力,而企业B有一高性能计算机群,企业C有一套数据挖掘软件。只要企业 A、B、C都在网格系统中,便可以很容易地通过网格技术将各发电企业的数据资源、企业B的高性能计算机群和企业C的数据挖掘系统组织成一个虚拟企业联盟,完成企业A的应用请求,而不需要购买任何新的软、硬件系统。一旦任务结束,虚拟企业联盟自动解散。
  不难看出,网格技术的虚拟企业成员不是单个的实际企业或企业的某个部门,而是一个个具体的计算机、存储器之类的资源节点。通过行业资源共享系统,可以最大限度地整合整个行业的现有资源,实现资源共享与重用。
  网格技术是新一代互联网技术。将网格技术应用于行业资源共享,可以增强行业内企业间资源的互操作性,即可以与远程的资源进行协同工作,打破现有的壁垒。本文提出的行业资源共享的网格体系结构和资源管理模式对实现行业资源重用具有重要指导作用。
参考文献
1 Foster I,Kesselman C,Tuecke S.The anatomy of the grid:Enableing scalable virtual organizations.International J.Super-computer Applications,2001;15(3):200~222
2 罗作民,张 景,李军怀.网格计算及其关键技术综述[J].计算机工程与应用,2003;30:18~22
3 胡 敏,顾君忠.Globus网格体系结构及其服务的实现[J].计算机工程,2003;29(15):5~7

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。