网格网格技术

Vol.
15,No.
72004JournalofSoftware软件学报1000-9825/2004/15(07)1064基于Web服务的网格体系结构及其支撑环境研究胡春明+,怀进鹏,孙海龙(北京航空航天大学计算机学院,北京100083)WebService-BasedGridArchitectureandItsSupportingEnvironmentHUChun-Ming+,HUAIJin-Peng,SUNHai-Long(SchoolofComputerScience,BeihangUniversity,Beijing100083,China)+Correspondingauthor:Phn:+86-10-82316262,E-mail:hcm@cscw.
buaa.
edu.
cn,http://www.
buaa.
edu.
cnReceived2003-11-06;Accepted2004-01-07HuCM,HuaiJP,SunHL.
Webservice-basedgridarchitectureanditssupportingenvironment.
JournalofSoftware,2004,15(7):1064~1073.
http://www.
jos.
org.
cn/1000-9825/15/1064.
htmAbstract:GridisanewparadigmofInternetcomputingtosharedistributedresourcesandcollaborateamongthem.
Awebservice-basedapproachforGridcanimprovetheextensibilityandinteroperabilityofGridsystem.
Inthispaper,alayeredGridfunctionalmodelisdiscussed;withintheOGSA(opengridservicearchitecture)framework,aWebservice-basedGridarchitectureispresented.
AnapproachofintegratingwebservicesandGridtechnologyisproposed.
WebserviceworkflowtechnologyisusedtomodelthetaskoftheGridapplicationanditsrequirementonresourceservices.
ThearchitectureofaWebservice-basedGridsupportingenvironmentcalledWebSASE4Gisintroduced,whichgivesanewapproachtoWebservicebasedGridarchitecture.
Keywords:distributedcomputing;grid;architecture;OGSA(opengridservicearchitecture);Webservice摘要:网格技术是当前网络计算的前沿领域,基于Web服务技术构建网格系统有助于提高网格系统的可扩展性和互操作能力,是这一领域中的最新热点.
但现有的工作尚未明确界定基于Web服务的网格的功能模型和实现机制.
首先讨论了网格功能模型,基于OGSA(opengridservicearchitecture)框架提出了基于Web服务的网格层次体系结构,并将Web服务工作流引入到网格任务描述中,给出一种Web服务与网格技术相融合的机制,介绍了基于Web服务的网格支撑环境WebSASE4G的总体结构和设计原理,为基于Web服务的网格系统设计与实现提供了一种新的方法.
关键词:分布式计算;网格;体系结构;OGSA;Web服务中图法分类号:TP393文献标识码:ASupportedbytheNationalHigh-TechResearchandDevelopmentPlanofChinaunderGrantNos.
2001AA113030,2001AA115110,2002AA116050,2003AA115420(国家高技术研究发展计划(863))作者简介:胡春明(1977-),男,江西泰和人,博士生,主要研究领域为分布式计算,中间件,Web服务,网格计算;怀进鹏(1962-),男,博士,教授,博士生导师,主要研究领域为计算机软件与理论,中间件,网络信息安全,网格计算;孙海龙(1979-),男,博士生,主要研究领域为分布式计算,Web服务,网格技术.
胡春明等:基于Web服务的网格体系结构及其支撑环境研究1065网格是近年来逐渐兴起的一种Internet计算模式,其目的是为了在分布、异构、自治的网络资源环境上构造动态的虚拟组织,并在其内部实现跨自治域的资源共享与资源协作,有效地满足面向互联网的复杂应用对大规模计算能力和海量数据处理的需求.
网格计算的理想目标是使网络上的所有资源易于协同工作,服务于不同的网格应用,实现资源在跨组织(自治域)之间应用的共享与集成.
网格研究源于分布式元计算,早期的网格研究(如Globus[1,2],Legion[3],Condor[4]等)多集中研究"计算力"资源的共享和集成.
目前,应用资源的多样性为网格研究带来新的机遇和挑战,需要网格技术对异类、异构的网络资源提供无缝的共享和集成支持.
这些资源不仅包括计算、存储、大型仪器等物理资源,也包括网络带宽、软件服务等逻辑资源.
因此,如何建立开放、可扩展的网络中间件体系结构,以满足对各类网络资源的共享与集成需求,成为网格研究的一个根本问题.
在早期的网格研究中,为了简化网格应用的开发,许多研究工作致力于提供网格中间件,以提高网格应用的开发、部署和管理效率,解决网格应用的共性问题,典型的工作有Globus,Legion,Condor,Unicore[5]等.
但是,由于不同网格中间件系统的核心协议具有独立性,不同的中间件系统通过各自的方式实现资源管理、任务提交、监控和容错等核心功能,使基于不同中间件系统的网格应用难以互操作;另一方面,由于早期中间件系统未能给出明确、一致的功能扩展机制,即使基于同一中间件系统的网格应用系统在扩展领域应用需求功能时,采取的扩展方式也不一致,使得网格系统之间的互操作问题日益突出.
这些问题导致网格应用之间互相孤立,进而使跨自治域的应用资源共享和集成变得异常复杂,逐渐背离了网格计算构造"全球统一的资源池"这个最终目标.
自2000年以来,一些研究工作致力于解决此类网格系统间的互操作问题(如Condor-G[6],GRIP等),但这些工作的研究重点放在如何实现不同网格中间件系统间的互操作上,无法从根本上解决应用网格间的互操作问题.
近年来,Web服务技术已得到快速发展和应用,它采用可扩展标记语言(XML)定义一组Web服务协议栈,以WS-Security为代表的Web服务安全机制保证了服务交互过程中的安全性,通过SOAP,WSDL,UDDI,WSFL,BPEL4WS等开放协议和标准,提供了面向Internet应用的统一服务注册、发现、绑定和集成机制,成为广域环境下实现互操作的一种主要机制,并得到学术界和产业界的广泛认可.
目前,基于Web服务的应用中间件技术和系统已较为成熟,如Apache的Axis,Systinet公司的WASP,IBM的WSTK和WebSphereWeb服务扩展,以及北京航空航天大学的WebSASE[7]等.
将Web服务技术引入网格研究领域,有助于解决网格研究所面临的应用集成、资源共享、系统互操作和标准化等问题.
目前,一些研究工作也从不同的角度尝试借助Web服务来部分地解决网格系统的互操作性,如UniversityofSouthampton对Condor的Web服务封装[8]、UniversityofCalifornia的批处理脚本生成服务[9]、MicrosoftPhilippine的BayanihanComputing.
NET[10]等.
2001年,Foster提出了开放的网格服务体系架构(opengridservicearchitecture,简称OGSA)[11,12],将Web服务的互操作模型引入到网格研究中,确立了Web服务作为网格资源的新的抽象形式和构造基础.
在2003年3月的GGF7上,OGSA已经成为目前网格研究的主流方向.
因此,Web服务技术极大地增强了网格协议和服务的互操作性,也为网格应用提供了一种统一的功能扩展机制.
领域相关的功能可以通过引入新的应用服务扩充到网格系统中,而新引入的服务与其他网格服务之间的交互则采用一致的服务交互模型.
这种融合不仅解决了网格间的互操作问题,而且也使网格应用不再局限于科学计算方面.
基于Web服务的网格应用可能扩展到电子商务、电子政务等更为广泛的领域.
OGSA提出了Web服务在网格基础架构中的中心地位,但是,它并没有明确指出Web服务如何直接应用于网格系统构造和网格平台建设.
2002年以来,一系列研究工作在OGSA的框架下开展,许多工作仍是在已有的中间件研究基础上进行,如在网格平台体系结构研究方面,只是从不同侧面探讨了基于Web服务的网格平台的功能需求、体系结构和实现技术,典型的工作有GT3,ICENI[13]和Gri-T[14]等.
本文首先分析了基于Web服务的网格平台研究现状,给出了网格平台的功能需求模型;然后在OGSA的框架下,提出了一种基于Web服务的网格层次体系结构及其核心技术问题;最后结合我们在网格中间件技术方面的研究工作,介绍了我们研制的基于Web服务的网格实验平台WebSASE4G.
1066JournalofSoftware软件学报2004,15(7)1网格的功能模型网格的定义有一个随着网格技术的发展而不断丰富、不断深入的过程.
1998年,网格研究主要关注如何支持用户获得资源的位置透明性和资源提供者的透明性[1].
2001年,Foster重新将网格定义为"动态的、多组织之上、虚拟组织内的协调资源共享和问题求解"[15],提出共享与协作是网格系统的根本特征.
这种界定很快得到了国际学术界的共识.
由于共享是协作的基础,协作是共享的目标,而问题求解是协作的最终目的,因此,这也标志着网格从多种专用技术的集成向一种广域资源应用模式的过渡.
在实现机制上,网格研究可以融合许多技术从而解决网格问题,而Web服务技术是这种技术融合的一个重要代表.
基于上述理解,我们认为,目前的网格资源和节点研究与应用面临着如下4个基本问题:(1)分布性.
这是网格系统的典型特征,尤其是网格强调资源环境的广域分布特性,需要解决网格系统节点间连接的不可靠性、数据移动的延迟和QoS等.
2.
(2)自治性.
由于构成网格的节点隶属于不同的组织域,跨组织域的资源共享与协同必须服从各自治域的安全和管理策略,网格应用对可信计算的需求与跨组织域节点的"不信任通信基础"之间的矛盾凸显了构造网格的可信计算环境的重要性.
3.
(3)动态性.
网格本身是一个不断变化的环境,其动态性包括两个层面,一是网格节点(资源节点)进入网格系统的动态性,二是网格节点自身状态的动态性.
因此,网格环境的状态实时监测与性能优化是网格动态性导致的主要矛盾.
4.
(4)异构性.
由于网格系统的节点种类繁多,而且同类节点结构差异较大,存在着严重的异构性问题,需要一些新的方法和机制来屏蔽这种资源异构性.
基于上述分析,我们给出了网格系统的功能结构,如图1所示,其中AR代表抽象资源,RA代表资源抽象.
Fig.
1Functionalitymodelofagridsystem图1网格系统的功能结构该功能结构包括3个层次:抽象资源层、虚拟组织层和问题求解层,同时还包括贯穿各层次的端到端QoS保障机制.
其主要功能如下:1.
(1)抽象资源层.
我们引入"抽象资源"的概念着重解决资源的异构性问题,因为任何可共享的实体都可以看做是抽象资源,可分为物理资源(如计算力、存储、科学仪器等)和逻辑资源(网络带宽、软件、应用服务).
2.
(2)虚拟组织层.
它通过资源池管理机制和应用任务调度机制,解决分布、动态、自治性等问题.
由于网ARARARARARVirtualorganizationResourcepoolmanagementApp.
taskschedulingmechanismRMP:Resourcemngt.
protocolTSP:TaskschedulingprotocolQoSguaranteemechanismProblemsolvingAbstractresourcesTDL:TaskdescriptionlanguageGridapp.
&problemsolvingenvironmentRARARARARA胡春明等:基于Web服务的网格体系结构及其支撑环境研究1067格系统的目的是实现跨组织的资源整合和面向问题求解的资源协同工作,我们基于虚拟组织的概念[15],突出强化资源与应用任务间的松耦合和动态绑定关系,使资源可以加入到不同的虚拟组织以支持细粒度的资源共享,即虚拟组织层主要解决跨组织域的共享与面向任务的资源协同,而资源管理和任务调度是该层的两个核心协议,前者为虚拟组织提供实时动态的资源视图,完成资源协同的底层机制(如资源协商、资源预留);后者完成资源到任务的映射和重映射,优化虚拟组织的资源利用效率.
3.
(3)问题求解层.
借助领域相关的编程模型、人机交互机制为网格应用提供人机界面,并精确地描述网格任务对资源的需求,我们同样需要引入任务描述语言来描述任务对资源的需求(如Globus采用的RSL[1,2]、Unicore的AJO[5]等),建立基于Web的网格门户.
典型工作有NPACI的HotPage/GridPort[16],ASCPortal[17],ECCE[18]和JavaCoglet[19]等.
(4)QoS保证机制.
即网格"提供非平凡的服务质量"[20],它表现了广义的QoS,包括安全性、可靠性和性能等方面.
目前网格QoS研究已经延伸到上述3个层次,如基于服务级别协定(servicelevelagreement)来描述用户对任务、任务对资源的QoS需求[21,22],基于协定的资源管理机制和支持特定QoS指标的任务调度机制来强化虚拟组织对端到端QoS的保证[23],以及在抽象资源层引入过载保护、负载平衡和差分服务等机制支持QoS等.
2基于Web服务的网格体系结构Web服务是一组面向Internet的共享功能与数据、支持互操作机制的开放协议和方法,已得到学术界和工业界的广泛认可[7].
近年来,Web服务逐步形成并完善了面向服务的体系结构(serviceorientedarchitecture,简称SOA),实现了从服务能力描述、服务注册与发现、服务动态绑定、服务组合为中心的核心功能实现机制以及以安全通信、单点登录直到多方协作中的信任传递等为中心的安全保证机制.
目前,在W3C,OASIS等标准化组织的推动下,Web服务技术已经完成了初步的标准化工作,并已逐步应用于电子商务、电子政务等重要领域.
OGSA将Web服务作为网格技术的中心概念,提出了以网格服务为基础构造网格体系结构的设想,但并未讨论如何构造基于Web服务的网格体系结构.
通过对网格功能模型和OGSA框架的分析,我们重点研究和分析了Web服务技术与网格计算的结合机理.
首先,网格强调异构、分布资源之间的功能共享与协作,协议是实现功能共享与协作的基础,而服务机制体现了协议实现的方法,服务接口体现了协议本身,因此,Web服务可以作为一种理想的资源抽象形式(如图1中的RA);其次,将SOA引入虚拟组织的资源管理,通过基于Web服务的共性基础服务,使网格系统在虚拟组织层中形成一个以资源服务、共性服务和应用服务构成的统一服务计算环境,进而可以使资源的共享转化为抽象资源到资源服务的映射,资源的协同转化为不同服务实例之间的交互,任务的调度转化为服务实例生命期管理(如创建、维护和生命期协商等);再次,基于Web服务的工作流建模方法,研究网格任务描述语言,强化任务对资源的需求描述能力,以适应应用需求和环境的变化;最后,建立Web服务安全和QoS与OGSA的融合机制,实现基于安全Web服务的可信网格环境,满足网格应用的需求.
目前,许多学者提出了不同的网格层次结构[15,24,25],但其本质具有较大的一致性.
基于层次化方法,我们给出了基于Web服务的网格平台体系结构(如图2所示).
基于Web服务的网格体系结构自下而上包括资源层、面向服务的体系结构层、面向服务的工具层和所支撑的网格应用等4个层次,其主要特点和功能如下:1.
(1)资源层.
这是网格应用的基础,由各种抽象资源构成,包括主机、存储设备、大型仪器等有形的物理资源和网络带宽、软件程序、应用服务等逻辑资源.
由于这些资源可能隶属于不同的组织域,它们具有独立的访问策略,因此资源层凸显了网格应用环境的异构性、分布性和自治性特征.
2.
(2)面向服务的体系结构层.
为了支撑基于服务的网格应用的开发、运行、部署和调试,面向服务的体系结构层集中解决各类资源的共享与协同问题,其核心包括3类服务——资源服务、共性服务和领域服务.
它们的主要特点和差别取决于被封装的业务功能和服务对象:(1)①资源服务.
这是一组用于封装各类异构资源的网格服务,通过Web服务的接口,描述资源共享的能力,同时支持基本的网格服务管理机制(如信息协议、基本管理协议、生命周期等).
例如,在GlobusToolkit3中基于网格服务的网格资源分配管理器(gridresourceallocationmanager,简称GRAM)试图对高性能计算资源进行服1068JournalofSoftware软件学报2004,15(7)务化,欧洲的OGSA-DAI和DQP项目则针对基于关系数据库的存储资源服务化.
因此,为了满足资源服务种类与虚拟组织中所共享的逻辑资源种类的一致性,针对不同种类的资源,如何抽象资源的共享能力,并将其封装为网格服务是我们设计实现资源服务所要解决的首要问题.
(2)②共性服务.
这是一组为整个虚拟组织提供公共能力的网格服务,主要实现网格的信息协议和管理协议,提供资源的状态监控、系统容错、服务质量保证等机制,因此共性服务不是对已有资源的封装,也不面向具体的网格应用,如网格信息服务、网格系统的监控和故障恢复服务、虚拟组织的安全服务等.
文献[26]给出了一些可能的共性服务列表,但在实际的虚拟组织构造中,应用需求是确定共性服务种类和数量的关键因素.
(3)③领域服务.
这是对领域相关的共性功能进行抽象而得到的一组共性软件服务,如领域相关的计算服务、分析服务、数据挖掘甚至数据可视化.
实际上,Globus中的资源代理(resourcebroker)也是一种领域服务,因为资源代理本身需要体现领域相关的任务分解策略、资源调度和优化机制等.
从构建基于Web服务的通用网格体系结构来看,为不同领域的应用提供不同的资源代理有助于在底层网格服务的基础上满足不同应用对任务调度和资源分配的差异性.
3.
(3)面向服务的工具层.
这一层为用户提供用户界面和一致的访问接口(如基于Web的服务门户),并为网格应用提供编程模型、调试和仿真工具、监控和管理工具以及工作流建模工具.
各种工具和API将简化网格应用的开发、部署、调试和管理.
(4)网格应用层.
体现为在Web服务基础之上构造的网格应用系统.
这些系统不局限于科学计算和海量信息处理等传统网格应用领域.
Fig.
2AWebservice-basedgridarchitecture图2基于Web服务的网格体系结构对照图1,基于Web服务的网格体系结构(如图2所示)给出了以Web服务为基础的网格系统的组成以及系统各个部分的相互关系,是在Web服务技术的基础上对网格系统功能结构的进一步细化,为构建基于Web服务的网格系统提供了基础支撑.
在资源层通过Web服务抽象解决了功能结构中抽象资源层对网络中的各类异构资源进行抽象的问题;在面向服务的体系结构层集中解决了功能模型中虚拟组织层的核心问题.
面向服务的体系结构层通过在网格服务运行环境(即网格服务容器)上扩展面向服务的安全机制和QoS机制来为上述3类服务提供自主、可信的运行环境.
其中,网格服务容器为资源服务、共性服务和领域服务提供统一的服务能力表Gridapp.
layerService-OrientedtoolslayerService-Orientedarchitecturelayer(SOA)Resources(fabric)layere-ScienceDataprocessinge-Businesse-Government.
Service-OrientedprogrammingmodelWebportalSimulationtoolsMonitor/MngttoolsWorkflowmodelingServiceorchestration&workflowService-OrientedsecuritymechanismService-OrientedQoSmechanismGridserviceruntime(servicecontainer)ResourceservicesCommonservicesDomainspecificservicesPhysicalresourcesLogicresourcesServicemanagement&monitor胡春明等:基于Web服务的网格体系结构及其支撑环境研究1069示和访问机制,并实现服务的实例化、内部状态维护、生命期协商等共性功能,实现资源池的管理机制;面向服务的安全机制为各类服务提供身份鉴别、授权、访问控制以及端到端的安全通信等安全基础支撑,是虚拟组织中资源管理协议的重要补充;面向服务的QoS机制为各类服务提供QoS的协商和端到端QoS保证的能力,满足服务对性能、可靠性、可伸缩性和可管理性的需求.
它直接为虚拟组织层提供QoS保证机制,是实现问题求解层的应用级QoS需求的实现基础.
同时,建立在资源服务、共性服务和领域服务上的组合服务与工作流机制主要实现任务到服务的映射,并协调多个服务之间的交互,体现多个服务协同求解应用问题,为虚拟组织提供应用任务的描述语言、调度机制和调度协议;在网格应用层和面向服务的工具层集中解决了功能结构中的问题求解层提出的系统需求.
图2中,面向服务的体系结构是整个系统平台的核心层.
它为上述3类分布的网格服务提供了一种标准的编程模型,使这些服务作为网格系统的标准软件构件能够被发布、发现和调用.
Web服务的标准协议族为这些服务的实现和交互机制提供了开放、可扩展和标准基础(我们采用基于WSDL描述服务能力、基于UDDI和WS-Inspection实现服务发现和动态绑定、基于SOAP及其安全扩展完成服务调用、基于WS-Security系列规范的服务支持安全互操作、基于BPEL4WS进行服务组合和工作流管理等),进而可以建立自主、可信的网格服务管理和互操作模型.
与Foster的5层结构[15]相比,图2的结构以Web服务作为资源的统一抽象,充分结合了Web服务技术的已有工作基础,将网格应用建立在自主、可信的服务运行环境上,并在面向服务的体系结构层集中解决了资源的连接、共享与汇聚问题,提出了一种基于Web服务实现网格系统的新思路.
3WebSASE4G:一个基于Web服务的网格平台WebSASE[7,27](Webservices-basedapplicationsupportingenvironment)是我们研制的面向Web服务及其应用的部署、运行、监控和管理环境,其核心组件包括Web服务的运行环境、面向应用的共性服务(如UDDI,单点登录服务等)以及Web服务门户,该环境支持SOAP,WSDL等核心Web服务协议.
针对网格功能体系结构的需求,我们基于WebSASE,研制了一个基于Web服务的网格实验平台WebSASE4G(WebSASEforgrid),其总体逻辑功能结构如图3所示.
Fig.
3LogicfunctionalarchitectureofWebSASE4G图3WebSASE4G的逻辑功能结构(1)网格服务门户系统.
为网格应用提供基于Web的统一用户界面,最终用户通过服务门户选择网格应用、配置参数、提交任务,我们基于XML的组合Web服务流程描述语言作为任务描述语言(taskspecificationlanguage),将用户对任务的描述转换成任务描述语言,将任务提交给服务代理,并在任务执行完毕后将结果展示给用户.
(2)服务代理系统.
它通过扩展Web服务工作流引擎,分析基于XML的任务描述语言,确定用户任务对服务类型和要求的约束,查询网格信息服务收集必要信息,并按照一定的策略为用户任务选取服务、创建服务实例、GridapplicationportalTSLServicebrokerGridservicesruntimeGridservicessecurityinfrastructureInfo.
servicesGridservicesruntimeDomain-SpecificservicesGridservicesruntimeResourceservicesGridservicesruntimeServicesdiscovery,taskscheduling&Executionmonitor1070JournalofSoftware软件学报2004,15(7)执行任务,并在执行过程中监控任务的执行.
任务执行完毕后,服务代理将处理结果返回给服务门户.
服务代理本身也被封装为网格服务,并作为一个领域服务部署于面向服务的网格体系结构之中.
(3)网格信息服务系统.
它是一类共性服务,运行于网格服务运行环境之中,负责收集网格系统各个节点的状态信息.
(4)安全支撑机制.
为了实现对大规模网络中分布式资源的有效、一致的管理和共享,保证资源不被非法破坏和获取,我们提出了面向异构环境、跨自治域的安全系统集成框架和基于策略的分布式资源安全控制[27],以实现自治域间的安全互操作和Grid服务控制信道的安全性,主要包括全局统一强身份认证机制、全局一致的授权和访问控制策略及其安全信任域管理.
(5)网格服务运行环境.
即网格服务容器,它为网格服务的运行环境提供了基本的支持,支持网格服务的实例、状态和生命期协商机制,简化网格服务的开发.
在网格服务运行环境中,通过面向服务的体系结构完成对各类资源服务、共性服务和领域相关服务的部署,实现服务功能的共享.
在WebSASE4G中,我们基于Web服务技术实现了网格服务中资源服务、通用服务和领域服务的抽象,同时,为统一实现这些网格服务的发布、运行和管理,我们提出和设计了一个网格服务容器(gridservicecontainer),主要完成通用Web服务运行管理功能,并在此基础上扩展网格服务的特性,实现开放的网格服务运行环境,建立网格服务基础架构,支持资源服务、共性服务和领域服务的运行.
在系统实现上,针对目前Web服务不支持服务实例和服务内部状态的问题,我们将OGSI的服务实例、服务内部状态维护和生命期协商管理等机制引入Web服务运行环境,使网格服务的请求者可以通过OGSI所定义的编程模型创建服务实例、维护服务实例的生命期,提供OGSI规范的兼容实现;在WebSASE共性服务的基础上,结合网格信息服务需求,实现信息服务之间的同步、信息传播和组合查询;将Web服务工作流与网格任务描述相结合,在OGSA框架下,将任务对资源的需求转化为用户请求对执行请求所需服务的类型和条件以及这些服务之间交互机制的约束,并基于Web服务流程描述语言(如WSFL,BPEL4WS等)通过流程模型和交互模型描述任务对服务的需求,使Web服务的工作流引擎完成网格系统的资源代理,实现应用任务向服务实例的调度和任务的监控执行;最后,将网格安全机制GSI集成进Web服务安全体系结构,在GSI的基础上实现SOAP安全扩展,以确保网格服务之间通信的安全性.
WebSASE4G需要解决在网格计算环境下,支持GridService为核心的网格应用所面临的共性问题.
在OGSA体系结构下,一切都是GridService,WebSASE4G的一个重要功能就是支持GridService的发布、运行和管理.
GridService是Web服务与网格技术结合的产物.
根据OGSI(opengridserviceinfrastructure)规范的定义,GridService是一类特殊的WebService,OGSI以WSDL的形式描述了GridService所具有的性质.
这些特性包括实例性、状态性以及生命周期管理等等.
尽管GridService和WebService在性质上有很大的差异,但是在实现支持它们运行的平台时所面临的问题是相似的,其中,服务的开发、部署、运行及监控管理是支撑平台要实现的最基本的功能.
我们开发的WebSASE支撑平台对WebService的开发、部署、运行及监控管理提供了完善的支持.
在与OGSI规范以及OGSA体系结构兼容的前提下,WebSASE4G在WebSASE的基础上针对GridService所特有的性质对WebSASE进行了扩充,以对GridService提供全面的支撑.
如图4所示.
1.
(1)开发与部署.
在网格中存在着众多的计算、存储和网络等各种资源,GridService将这些资源抽象为统一的形式,便于资源的使用和管理.
因此,GridService的开发过程就是将各种资源封装为GridService的过程.
目前,我们实现了对Java程序的GridService化,今后将开展对更多的资源进行支持.
另外,为了对所有的GridService以一致的方式进行部署和管理,我们定义了一种新的封装格式GSAR(gridservicearchive),GSAR扩展了WebSASE中定义的WSAR(Webservicearchive)封装格式,其中包括GridService的功能实现代码、WSDL文档、服务部署描述文件以及其他信息.
在服务部署描述文件中,扩展了对GridService的生命周期初始信息、持久服务/瞬时服务属性以及服务工厂等信息的描述.
2.
(2)运行管理.
我们将运行时的GridService抽象为一组可控管理对象GSO(gridserviceobject),每个GridService实例对应于一个GSO对象,服务容器维护一个存放了所有GSO对象的对象池,通过对GSO的管理实现胡春明等:基于Web服务的网格体系结构及其支撑环境研究1071对GridService的运行时管理.
服务管理器是容器中对服务实例管理的重要组件,在GSO的整个生命周期中它负责创建、初始化、维护以及销毁等所有管理功能.
服务管理器对GSO的管理实现了GridService实例的状态维护以及完善的生命周期管理.
GridService作为一种WebService,必须支持基于SOAP的服务调用;WebSASE4G利用WebSASE中的SOAP处理引擎以及SOAP安全处理功能支持GridService的SOAP调用.
另外,我们通过可扩展的服务实现适配器的机制,使得容器可以支持各种异构网格资源利用和管理.
(3)监控管理.
整个系统平台的管理需求主要体现在对平台自身信息的维护上,包括系统的运行环境和参数配置以及对于系统中GridService的运行状态的监控和管理.
WebSASE4G利用Java管理扩展(Javamanagementextension,简称JMX)这一可扩展的管理体系结构,通过统一的管理控制台与可插入的管理插件实现可扩展的系统监控管理功能.
Fig.
4ArchitectureofthegridservicesruntimeinWebSASE4G图4WebSASE4G的网格服务运行环境体系结构4多媒体文件压缩网格:一个应用案例为了验证WebSASE4G对基于Web服务的网格系统的支持,我们设计了一个实现多媒体文件的转换和压缩的应用.
目前,图片、音频和视频等多媒体内容(如数字电话、视频会议等)已经得到广泛的应用.
文件容量大,处理复杂、需要实时处理等应用需求,使得对多媒体内容的处理往往需要花费很长的时间和大量的计算资源.
如何快速、高效地压缩和转换由数字设备捕获的原始的多媒体数据,并将其转换为合适的数据格式以便进行后续的传输和处理,就成为多媒体内容处理的一个重要方面.
网格技术适于解决此类计算密集型和数据密集型的应用问题.
因此,我们尝试在WebSASE4G平台上构造一个多媒体文件的转换和压缩网格来验证WebSASE4G平台的可用性.
我们开发了3个网格服务,分别实现多媒体文件的分割、格式转换及内容压缩以及结果文件的合并.
这3个网格服务的相关信息(元数据)被注册到系统的服务注册表(serviceregistry)中.
服务代理处理用户的作业并调度上述3类服务.
在作业的处理过程中,WebSASE4G的管理控制台和相应的管理插件监视每个网格服务实例的运行时状态及用户作业的执行状态.
不同网格服务实例之间通过FTP协议传递多媒体文件.
系统工作原理如图5所示.
用户首先登录到WebPortal,通过Web页面提交作业,同时指定要转换和压缩的原始多媒体文件的URL以及压缩后目标文件的URL.
服务代理在接收到用户请求后通过查询服务注册表来寻找能够处理此类请求的网格服务.
服务代理调用文件拆分网格服务,根据找到的压缩服务的个数将原始的数据文件拆分成几个文件片断,从而将用户提交的作业转换成一组相互独立的子作业.
例如,当服务代理发现有10个可用网格节点在运行文件转换和压缩服务时,它就要求文件拆分服务将原始的多媒体文件分割成10个部分.
然后,服务代理按照一定的调度策略将这些子作业调度到不同的文件压缩服务实例上.
最后,服务代理调用文件合并服务将经过压缩的多媒体文件片断合并成一个目标文件,并传输到用户作业所指定的目标文件URL处.
这样,用户就可以通过FTPSOAPrequestServicemanagerHTTPlistenerWebSASESOAPengineGSOpoolSOAPresponseGSARAdmin.
&mngt.
consoleComputingStorageNetworkOtherresourcesServiceimpl.
adaptor1072JournalofSoftware软件学报2004,15(7)客户端访问该URL获取结果数据了.
在这个例子中,我们通过WebSASE4G的WebPortal、网格服务容器以及服务实例的运行管理和监控模块、服务代理等组件,快速构建了基于Web服务的多媒体文件压缩网格,较好地实现了复杂作业的处理过程.
Fig.
5Multimediafilescompression图5多媒体文件压缩网格5结束语网格是一种在Internet范围内实现资源广泛共享与协同使用的新模式,基于Web服务技术构建网格系统有助于提高网格系统的可扩展性和互操作能力.
本文首先在抽象网格系统4个特点的基础上,提出了一个3层网格功能模型;在OGSA的框架下提出了一个基于Web服务的网格体系结构,讨论了基于Web服务的网格系统的若干问题以及Web服务技术与网格技术的融合方法,简要介绍了基于Web服务的网格平台WebSASE4G的总体结构、主要功能模块和实现机制,将Web服务工作流引入到网格任务描述中,将网格任务的执行映射为一组服务实例的交互,为基于Web服务的网格系统设计与实现提出了一个新的思路.
网格系统作为一个大规模的分布式系统,对资源的自管理、自组织、自适应、自修复等提出了新的需求,因此,如何构造一个自主、可信的服务计算环境是我们今后研究和应用的重点.
References:[1]FosterI,KesselmanC.
Globus:Ametacomputinginfrastructuretoolkit.
Int'lJournalofSupercomputerApplications,1997,11(2):115~129.
[2]FosterI,KesselmanC.
TheGlobusproject:Astatusreport.
In:Proc.
oftheIPPS/SPDP'98HeterogeneousComputingWorkshop.
Orlando:IEEEComputerSocietyPress,1998.
4~18.
http://ipdps.
eece.
unm.
edu/1998/hcw/foster.
pdf[3]ChapinSJ,KatramatosD,KarpovichJ,GrimshawA.
Resourcemanagementinlegion.
FutureGenerationComputerSystems,1999,15(5-6):583~594.
[4]LitzkowMJ,LivnyM,MutkaMW.
Condor—Ahunterofidleworkstations.
In:Proc.
of8thInt'lConf.
onDistributedComputingSystems.
Washington:IEEEComputerSocietyPress,1988.
104~110.
http://www.
cse.
ohio-state.
edu/~lauria/cis788/papers/condor.
pdf[5]AlmondJ,SnellingD.
UNICORE:Uniformaccesstosupercomputingasanelementofelectroniccommerce.
FutureGenerationComputingSystems,1999,15(5-6):539~548.
[6]FreyJ,TannenbaumT,LivnyM,FosterI,TueckeS.
Condor-G:AcomputationmanagementAgentformulti-institutionalgrids.
In:Proc.
ofthe10thIEEESymp.
onHighPerformanceDistributedComputing(HPDC10).
SanFrancisco:IEEEComputerSocietyPress,2001.
7~9.
http://www.
globus.
org/research/papers/condorg-hpdc10.
pdf[7]GeS,HuCM,DuZX,WangY,LinXL,HuaiJP.
WebSASE:AWebservicebasedapplicationsupportingenvironment.
In:HuhSY,LeeBT,eds.
Proc.
ofthe5thNortheastAsiaSymposium.
Seoul,2002.
67~76.
WebportalRawdataEndusersRawdataURLCompresseddataURLServicebrokerRegistrySplitCompressMergeCompresseddataMonitor&managementURLURLRawfragsCompressed胡春明等:基于Web服务的网格体系结构及其支撑环境研究1073[8]CoxSJ,FairmanMJ,XueG,WasonJL,KeaneAJ.
Thegrid:Computationalanddataresourcesharinginengineeringoptimisationanddesignsearch.
In:Proc.
ofthe2001Int'lConf.
onParallelProcessingWorkshops.
Valencia:IEEEComputerSocietyPress,2001.
207~212.
http://www.
geodise.
org/files/Papers/msa_2001_Full_Final.
pdf[9]MockS,MuellerK,YounC,PierceM,FoxG,ThomasM.
AbatchscriptgeneratorWebserviceforcomputationalportals.
In:Proc.
ofthe11thIEEEInt'lSymp.
onHighPerformanceDistributedComputing(HPDC-11).
Edinburgh:IEEEComputerSocietyPress,2002.
422.
http://csdl.
computer.
org/comp/proceedings/hpdc/2002/1686/00/16860421.
pdf[10]SarmentaL,ChuaS,EchevarriaP,MendozaJM.
Bayanihancomputing.
NET:GridcomputingwithXMLWebservices.
In:Proc.
ofthe2ndIEEE/ACMInt'lConf.
onClusterComputingandtheGrid(CCGRID2002).
Berlin:IEEEComputerSocietyPress,2002.
404~405.
http://bayanihancomputing.
net/bayanihan-ccgrid02-short.
pdf[11]FosterI,KesselmanC,NickJ,TueckeS.
Thephysiologyofthegrid:Anopengridservicesarchitecturefordistributedsystemsintegration.
2002.
http://www.
globus.
org/research/papers/ogsa.
pdf[12]FosterI,KesselmanC,NickJ,TueckeS.
Gridservicesfordistributedsystemintegration.
IEEEComputer,2002,35(6):37~46.
[13]FurmentoN,LeeW,MayerA,NewhouseS,DarlingtonJ.
ICENI:AnopengridservicearchitectureimplementedwithJini.
ParallelComputing,2002,28(12):1753~1772.
[14]GokhaleA,NatarajanB.
GriT:ACORBA-basedGRIDmiddlewarearchitecture.
In:Proc.
ofthe36thAnnualHawaiiInt'lConf.
onSystemSciences(HICSS2003).
BigIsland:IEEEComputerSocietyPress,2003.
319b.
http://computer.
org/proceedings/hicss/1874/track9/187490319babs.
htm[15]FosterI,KesselmanC,TueckeS.
Theanatomyofthegrid:Enablingscalablevirtualorganizations.
Int'lJournalofSupercomputerApplications,2001,15(3):1~10.
[16]ThomasM,MockS,DahanM.
TheGridPorttoolkit:Asystemforbuildinggridportals.
In:Proc.
ofthe10thIEEEInt'lSymp.
onHighPerformanceDistributedComputing(HPDC2001).
SanFrancisco:IEEEComputerSocietyPress,2001.
216~227.
http://sc-2002.
org/paperpdfs/pap.
pap284.
pdf[17]RusselM,AllenG,DauesG.
Theastrophysicssimulationcollaboratory:Ascienceportalenablingcommunitysoftwaredevelopment.
ClusterComputing,2002,5(3):297~304.
[18]SchuchardtK,DidierB,BlackG.
Ecce—Aproblemsolvingenvironment'sevolutiontowardgridserviceandaWebarchitecture.
ConcurrencyComputationPracticeandExperience,2002,14(13-15):1221~1239.
[19]WebbD,WendelbornAL.
JavaCoglets.
In:Proc.
ofthe2ndInt'lConf.
onClusterandComputationalGrid(CCGRID2002).
Berlin:IEEEComputerSocietyPress,2002.
432~433.
http://csdl.
computer.
org/comp/proceedings/ccgrid/2002/1582/00/15820432.
pdf[20]FosterI.
WhatisthegridAthreepointschecklist.
GridToday,2002,1(6).
http://www.
gridtoday.
com/02/0722/100136.
html[21]CzajkowskiK,FosterI,KesselmanC,SanderV,TueckS.
SNAP:Aprotocolfornegotiationofservicelevelagreementsandcoordinatedresourcemanagementindistributedsystems.
In:DrorG,ed.
JobSchedulingStrategiesforParallelProcessing.
Edinburgh:Springer-Verlag,2002.
153~183.
[22]PruyneJ,SanderW.
GRAAP:Gridresourceallocationagreementprotocoloperations.
In:The8thGlobalGridForumDrft.
2003.
[23]BuyyaR.
Economic-Baseddistributedresourcemanagementandschedulingforgridcomputing[Ph.
D.
Thesis].
Melbourne:MonashUniversity,2002.
[24]BakerM,BuyyaR,LaforenzaD.
Thegrid:Internationaleffortsinglobalcomputing.
In:Proc.
oftheInt'lConf.
onAdvancesinInfrastructureforElectronicBusiness,Science,andEducationontheInternet(SSGRR2000).
Roma:ScuolaSuperioreG.
ReissRomoli,2000.
http://www.
cs.
mu.
oz.
au/~raj/papers/TheGrid.
pdf[25]BermanF,FoxG,HeyT.
GridComputing:MakingtheGlobalInfrastructureaReality.
NewYork:JohnWiley&Sons,Ltd.
2003.
9~51.
[26]OpenGridServicesArchitectureRoadmap.
In:The7thGlobalGridForumDraft.
2003.
http://www.
gridforum.
org/ogsa-wg/papers/ogsa_roadmap.
0.
4.
pdf[27]XueW,LiuXD,GeS,LinXL.
ResearchandimplementationofsecurityarchitectureforWebserviceruntime.
JournalofBeijingUniversityofAeronauticsandAstronautics,2003,29(10):885~888(inChinesewithEnglishabstract).
附中文参考文献:[27]薛伟,刘旭东,葛声,林学练.
Web服务运行管理平台安全结构的研究与实现.
北京航空航天大学学报,2003:29(10):885~888.