可用性云计算系统

20201010计算机应用,JournalofComputerApplications2020,40(10):3013-3018ISSN10019081CODENJYIIDUhttp://www.
joca.
cn基于Markov过程的IaaS系统可用性建模与分析方法杨哂哂1,吴慧珍1,庄黎丽1,吕宏武2*(1.
上海商学院网络中心,上海200235;2.
哈尔滨工程大学计算机科学与技术学院,哈尔滨150001)(通信作者电子邮箱lvhongwu@hrbeu.
edu.
cn)摘要:针对现有基础设施即服务(IaaS)可用性模型难以计算存在多个可用物理机器(PM)概率的问题,提出一种基于Markov过程的IaaS可用性分析方法.
首先,将计算资源划分为hotPM、warmPM和coldPM三类;然后,结合资源分配过程的相应阶段对可用性影响进行建模,分别生成对应的三种分配子模型,子模型之间通过不同种类计算资源的转换关系相互协作,构建系统整体模型;其次,基于Markov过程建立方程组以对可用性模型进行求解;最后,结合实例对分析模型进行验证,并对PM变迁速率等关键影响因素进行了分析.
实验结果表明,增加PM尤其是coldPM的数量有助于提升IaaS的可用性.
所提方法可以用于评估IaaS存在一个或多个可用PM的概率.
关键词:云计算;可用性;Markov过程;稳态概率;物理机器中图分类号:TP393文献标志码:AMarkovprocess-basedavailabilitymodelingandanalysismethodofIaaSsystemYANGShenshen1,WUHuizhen1,ZHUANGLili1,LYUHongwu2*(1.
NetworkCenter,ShanghaiBusinessUniversity,Shanghai200235,China;2.
CollegeofComputerScienceandTechnology,HarbinEngineeringUniversity,HarbinHeilongjiang150001,China)Abstract:ConcerningtheproblemthatexistingavailabilitymodelsofInfrastructureasaService(IaaS)aredifficulttocalculatetheprobabilityoftheexistenceofmultipleavailablePhysicalMachines(PMs),anewavailabilityanalysismethodbasedonMarkovprocesswasproposedforIaaSclouds.
Firstly,thecomputingresourcesweredividedintothreetypes:hotPM,warmPMandcoldPM.
Then,theimpactofavailabilitywasmodeledbycombiningthecorrespondingstagesoftheresourceallocationprocess,separatelygeneratingthreekindsofallocationsub-models.
Thesesub-modelscooperatedwitheachotherthroughthetransformationrelationshipsofdifferenttypesofcomputingresources,soastoconstructtheoverallmodelofthesystem.
Afterthat,theavailabilitymodelwassolvedbyequationsconstructedbasedonMarkovprocess.
Finally,theproposedanalysismodelwasverifiedwithapracticalexample,andthekeyfactorssuchasPMtransitionratewereanalyzed.
Experimentalresultsshowthat,increasingthenumberofPMs,especiallycoldPMshelpstoimprovetheavailabilityofIaaS.
TheproposedmethodcanbeusedtoestimatetheprobabilityoftheexistenceofoneormultipleavailablePMs.
Keywords:cloudcomputing;availability;Markovprocess;steadystateprobability;PhysicalMachine(PM)0引言云计算(cloudcomputing)是一种典型的效应计算模式,允许用户像购买水电一样以"按需使用的方式"采购计算服务,极大降低了计算密集型服务的成本[1].
美国国家技术标准与技术研究院(NationalInstituteofStandardsandTechnology,NIST)将云计算划分为三个层次,包括基础设施即服务(InfrastructureasaService,IaaS)、平台即服务(PlatformasaService,PaaS)和软件即服务(SoftwareasaService,SaaS).
其中IaaS大多出租给基础服务运营商(InfrastructureServiceProvider,ISP),为终端用户提供可以随时部署操作系统和应用的基础计算环境;IaaS的提供商一般和用户签署有服务等级协议(ServiceLevelAgreements,SLA),主要规定了服务的可用性等级以及相应的违约惩罚;IaaS对服务的可用性具有更高要求,任何不可用的状态都将对其商誉和收益带来极大损失[2].
因此,高可用性对于IaaS具有更重要意义.
目前已经有大量工作对IaaS的可用性进行了研究,包括物理机器(PhysicalMachine,PM)排队机制、虚拟机器(VirtualMachine,VM)迁移和异构工作流影响等.
文献[3-4]重点研究了VM迁移对可用性的影响,但是PM对于IaaS云系统可用性的影响更加基础化.
文献[5-6]研究了基于容器的IaaS的文章编号:1001-9081(2020)10-3013-06DOI:10.
11772/j.
issn.
1001-9081.
2019122245收稿日期:20200107;修回日期:20200607;录用日期:20200615.
基金项目:国家自然科学基金资助项目(6187060169).
作者简介:杨哂哂(1984—),女,河南信阳人,工程师,硕士,主要研究方向:网络安全、随机数据处理;吴慧珍(1980—),女,安徽泾县人,讲师,硕士,主要研究方向:商务英语教学、应用翻译;庄黎丽(1982—),女,上海金山人,讲师,硕士,主要研究方向:高校档案管理、信息安全;吕宏武(1983—),男,山东日照人,副教授,博士,CCF会员,主要研究方向:云计算可用性、网络安全.
www.
joca.
cn第40卷计算机应用可用性,但是考虑到容器的安全隔离性问题还没有得到全面解决,在可预见的将来并不能完全取代现有VM方式.
文献[7]中分析了批量任务等异构工作流对云计算系统可用性的影响,在此基础上文献[8-9]分别对不同的PM分配策略进行了研究.
与从任务流角度分析可用性不同,本文遵循文献[4]仅关注于IaaS系统对于任务处理的思路,屏蔽任务流的复杂性,这也是本领域绝大多数研究采用的方式.
此外,其他大量研究还分析了VM容量规划[10]和关键影响因素分析[11]等问题.
本领域的主要工作还集中在PM队列调度策略对可用性的影响,在文献[12-15]中主要研究了不同PM队列调度策略对可用性的影响,但目前的研究主要分析至少存在一个VM可用的概率,不能分析存在任意N个VM可用的情况,无法满足批任务同时需要N个VM时云计算系统服务可用性的分析.
据此,本文提出了一种IaaS系统可用性分析方法,通过建立IaaS系统PM分配的状态转移概率空间模型,描述PM失效、恢复以及成功部署任务的概率,从而获得系统处于可用状态的稳态概率.
本文研究可以用于定量分析一个IaaS系统存在任意多个可用PM的概率.
1基于Markov过程的可用性模型1.
1模型的建立IaaS系统规模巨大,能够包含数以百万计的计算节点,据相关报道其能耗相当于一个美国中型城市.
为了节能通常将IaaS计算节点分为hotPM、warmPM和coldPM三类.
hotPM可以直接部署VM并运行服务,部署时延极短;warmPM又称为hotstandbyPM,它处于热待机状态,在部署VM之前有一定时延;coldPM又称为coldstandbyPM,PM通常处于关机状态,需要较多时间部署VM.
每一种PM都会被组织成一个资源池,由系统进行调度.
为了简化可用性建模,假设IaaS可用性仅与计算资源的可用性相关,所有其他原因引发的不可用状态都可以等价于计算资源的不可用.
同时,由于IaaS主要提供基础设施给云服务提供商,因此关注的重点在于PM的分配,且VM部署的影响在其他文献[2-3,7]中已有研究,本文不再作为重点.
在此基础上,对系统可用状态的描述,将转化为对PM分配过程的建模.
假设每次任务到达时,请求分配一个正常且可部署VM的PM,当需要分配多个VM时等价于多次任务请求.
上述三种PM所处的状态均可以分为三类:正常且可部署VM的PM、失效PM和正常已部署满VM的PM,于是系统状态可以用当前时刻所有PM所处状态来刻画.
假设系统在时刻t的状态为St,为了表述简便当不指定特定时刻时简记为:S=(ξhot,ξwarm,ξcold)T(1)其中:ξhot=(Nhot,Dhot,Fhot);ξhot各元素分别代表正常且可部署VM的PM数量、正常已部署满VM的PM数量和失效PM数量.
同理,ξwarm=(Nwarm,Dwarm,Fwarm),ξcold=(Ncold,Dcold,Fcold).
本文借鉴现有IaaS可用性模型[10,13],建立一种基于Markov过程的IaaS可用性模型,按照PM资源分配的三个阶段分别对应三种PM分配子模型.
三种PM分配子模型分别用于描述hotPM、warmPM和coldPM资源池内部的PM调度,包含PM的失效、VM成功部署和释放.
IaaS会优先选择hotPM分配子模型,从hotPM资源池中分配PM;若不存在则依次由warmPM和coldPM分配子模型查找剩余的两个资源池,若仍然没有可用的coldPM,则进入不可用状态Unavail.
当服务完成后,将PM挂起,为了节省能源,优先填补到低能耗的资源池中,且保持各资源池中PM数量不变.
三种子模型通过计算资源的转换关系相协作,构成系统整体模型,原理如图1所示.
其中每一个子模型都对应一个Markov链,将在1.
2节中分别论述,由有限个Markov链简单组合而成的系统模型也是一个Markov过程.
而各子模型之间状态转移概率P1、P2、Q1、Q2可以通过各子模型的转换关系求得.
本文采用采用经典的Lv方法[8]计算状态转移概率,假设每个转移动作的延迟都服从指数分布,转移概率为动作时延的数学期望的倒数.
1.
2PM分配子模型1.
2.
1hotPM分配子模型hotPM子模型如图2所示.
假设初始时刻ξhot=(h,0,0),状态之间的转移分为横向和斜向两个部分,其中,横向负责PM资源的分配和释放,斜向描述了PM失效过程.
IaaS系统先判断正要分配的hotPM是否已经失效,如果没有失效,就正常分配PM,Dhot的数量就会增加.
如果发现将分配的hotPM失效,那么进行斜向转移,Fhot的数量就会增加.
由于ξwarm、ξcold在此过程中保持不变,系统初始状态S可以记为一个分块矩阵,S1=éêùúh00H23(2)图1可用性模型的原理Fig.
1Schematicdiagramofavailabilitymodel3014www.
joca.
cn第10期杨哂哂等:基于Markov过程的IaaS系统可用性建模与分析方法其中:H23=éêùúξwarmξcold.
当最终不存在hotPM,将由整体模型控制转入warmPM分配子模型.
每一个warmPM分配子模型可以用系统此时包含的hotPM的状态唯一标识,例如warmPM分配子模型W(h-i,i)代表当有i个PM已经失效,其余(h-i)个hotVM已分配完毕时转入此子模型.
1.
2.
2warmPM分配子模型warmPM分配子模型负责对warmPM进行资源分配.
不失一般性,以warmPM分配子模型W(h-i,i)为例进行讨论.
记此时的ξhot状态为H1=(0,h-i,i).
若warmPM资源池中初始有w个PM,则起始状态可以表示为:S2=éêêùúúH1w00H3(3)其中:H3=ξcold,而H1和H3在状态转移过程中保持不变.
warmPM分配子模型W(h-i,i)的资源分配对应的Markov过程与hotPM分配类似,如图3所示.
当最终不存在hotPM,将由整体模型控制转入coldPM分配子模型.
每一个coldPM分配子模型可以用系统此时包含的hotPM和warmPM的状态唯一标识.
1.
2.
3coldPM分配子模型coldPM分配过程与hotPM和coldPM类似,也可以描述为一个Markov链.
不失一般性以标号为éêùúh-iiw-jj的coldPM分配子模型为例进行讨论.
在此子模型中,初始时刻ξhot=(0,h-i,i),ξwarm=(0,w-j,j),coldPM资源池中初始有c个PM,则起始状态可以表示为:S3=éêùúH12c00(4)其中:H12=éêùúξhotξwarm.
因此,coldPM分配过程如图4所示,其中H12在此过程中保持不变.
图2hotPM分配子模型Fig.
2hotPMallocationsub-model图3warmPM分配子模型W(h-i,i)Fig.
3warmPMallocationsub-modelW(h-i,i)3015www.
joca.
cn第40卷计算机应用2模型求解本文采用稳态概率方法对模型进行求解,进而在此基础上对可用性进行评估,避免了设定指标权重系数的人为干扰.
首先,将系统所有状态表示为一个向量.
若初始状态hotPM、warmPM和coldPM的数量分别为h、c、w,由图2~4可以得到共有1个hotPM子模型,(h+1)个warmPM子模型和(h+1)*(w+1)个coldPM子模型,则整个模型除了状态Unavail共有状态数量:Ntotal=∑i=1h+1i+(h+1)*∑j=1w+1j+(h+1)*(w+1)*∑k=1c+1k(5)由式(1)可知,状态S的任意一个矩阵SS可表示为:SS=éêêùúúNhotSDhotSFhotSNwarmSDwarmSFwarmSNcoldSDcoldSFcoldS(6)为了表示的方便,将这些状态按照矩阵S的所有元素Sij组成的向量(S11,S12,,S33)的各元素数值依次由小到大排序,序号分别为1,2,,Ntotal.
在排序之后,可以利用现有的Markov过程求解稳态概率公式求解每一个状态的稳态概率[4,7].
若πS代表状态S的稳态概率,所有πS和πUnavail组成稳态概率向量Π=(π1,π2,,πNtotal,πUnavail),Q为一步状态转移概率矩阵,且Q=(quv).
其中Quv表示从状态u到状态v的转移概率,u,v∈{1,2,,Ntotal,Unavail}.
则稳态概率[4,7]可以用式(7)求解.
ìí∑1NtotalπS+πUnavail=1Π=ΠQ(7)3仿真实验与结果分析本章将通过实例验证IaaS可用性评估的有效性,主要是由于系统实测的可用性分析方法存在诸多限制:1)需要长期观察云计算系统的运行状况并记录故障次数,涉及不同时间段、不同硬件主机和不同虚拟机的运行并进行大量统计;2)观察周期很长,某些云系统的潜在故障发生周期甚至需要几年;3)如果采用实验仿真,需要人为定期注入故障进行观察统计,这在某些商业云系统中很难被许可,观察的数据也可能难以覆盖实际故障集合.
所以本文只是利用形式化方法针对提出的可用性模型进行验证.
3.
1可用性评估指标本文不但考虑了存在PM可用的概率,即至少存在一个可用PM,而且为了满足批量任务的部署需求,通常需要考察存在至少K个计算资源的概率PK.
因此主要考察以下两个指标.
1)至少存在一个可用PM的概率.
直接计算至少存在一个可用PM的概率较为复杂,可以利用不存在可用PM的概率间接求解.
Pavail=1-PUnavail=1-πUnavail(8)2)至少存在K个可用PM的概率.
PK=∑s,(Nhot+Nwarm+Ncold)≥KπS(9)其中:S是指任意状态;Nhot、Nwarm、Ncold是指处于状态S时对应的可部署的hotPM、warmPM和coldPM的数量.
3.
2结果与分析本文采用的Markov过程建模是一个理论模型,对于任意给定的目标系统,通过改变模型中的参数均可通过推导得到可用性的分析结果,实例不具有唯一性.
因此可以任意选取一个私有云计算系统实例进行分析.
假设该系统具有30个hotPM计算资源、20个warmPM计算资源和20个ColdPM的IaaS系统.
借鉴文献[9-10]的参数设定,假定hotPM、warmPM和coldPM平均部署时延的数学期望分别为0.
02h、0.
05h和0.
2h,PM平均释放时间均为0.
2h,故障时间间隔分别为100h、200h和400h.
采用Huang方法[8]得到系统默认参数如表1所示.
因为本文模型包含大量的参数,各个参数的取值都对可用性的分析有很大的影响,本文将对参数依次进行分析,来验证各个参数的影响.
为了简化计算,提高求解效率,本文利用EclipseBio-PEPAPlugin工具包辅助求解.
图4coldPM分配子模型C(h-i,i;w-j,j)Fig.
4coldPMallocationsub-modelC(h-i,i;w-j,j)3016www.
joca.
cn第10期杨哂哂等:基于Markov过程的IaaS系统可用性建模与分析方法1)至少存在一个可用PM的概率.
由式(8)可得当参数取值如表1所示时,其中不可用状态有21*21=441个,可用性的值为0.
9552.
当改变Nhot、Nwarm、Ncold的值时,得到Pavail的变化如图5所示.
如图5可见,随着hotPM、warmPM和coldPM数量的增长,可用性逐渐增加,并且coldPM的趋势更为陡峭.
因为当coldPM被调用时已经没有其他可用的资源,如果coldPM不足将直接进入不可用状态,因此coldPM数量影响较大.
对于HotPM和WarmPM而言,当它们数量不足时,还可以继续调用ColdPM,因此对最终进入不可用状态的影响并不显著.
图5PM数量对可用性的影响Fig.
5ImpactofPMnumberonavailability当改变各关键参数λh、λw、λc、φh、φw、φc的值时,得到Pavail的变化如图6所示.
当λh、λw、λc等变迁速率加快时,可用性Pavail呈下降趋势,原因主要是变迁速率加快等于单位时间内需要部署PM数量增多,等价于负载压力加大.
因为在本实例中PM数量较少,Pavail会逐渐降低,尤其是λc变迁速率加快时如果没有充足的PM将快速进入不可用状态.
此外还以PM成功释放的变迁速率为例分析了φh、φw、φc等关键参数对可用性的影响,随着变迁速率的增长,单位时间内有更多完成任务的PM可供调度和部署任务,因此加快PM的执行速率有利于提升云计算系统的可用性,尤其是φc的影响更为明显,因为根据调度关系没有充足的coldPM意味着直接进入不可用状态,coldPM执行速率的提升等价于更多备用的PM可用,降低了进入不可用状态的概率.
2)至少存在K个可用PM的概率.
最终考察至少存在K个可用PM的概率,以便可以部署超级任务或者批量任务.
如图7可见,存在K个可用PM的概率逐渐降低,即随着同时需要的PM数量的增加,PK的概率逐渐减小,原因在于PM失效问题的存在以及部分PM可能已经被部署使得可用的PM数量减少.
因此应该对批量任务一次性需要PM的数量事先进行分析,以保证可以达到系统规定的可用性.
表1本文模型默认取值Tab.
1Defaultvaluesofproposedmodel参数λhλwλc取值50205参数φhφwφc取值555参数μhμwμc取值0.
01000.
00500.
0025图6PM的变迁速率对可用性的影响Fig.
6ImpactofPMtransitionrateonavailability图7至少存在K个可用PM的概率Fig.
7ProbabilityofexistingatleastKPMavailable3017www.
joca.
cn第40卷计算机应用4结语针对现有IaaS可用性模型难以分析多个可用PM概率的问题,本文提出了一种基于Markov过程的IaaS系统可用性分析方法.
结合PM调度过程建立了可用性分析模型可以分析至少存在一个可用PM的概率以及至少存在K个可用PM的概率.
实验结果显示增加PM尤其是coldPM的数量有助于提升可用性.
本文的研究没有考虑任务排队带来的影响,在后续的研究工作中,将结合任务排队等更多影响因素分析云计算系统可用性的关键影响因素.
参考文献(References)[1]李阿妮,张晓,赵晓南,等.
面向IaaS的云计算系统可用性评估[J].
计算机科学,2016,43(10):33-39.
(LIAN,ZHANGX,ZHAOXN,etal.
CloudcomputingsystemavailabilityevaluationforIaaS[J].
ComputerScience,2016,43(10):33-39.
)[2]URIARTERB,DENICOLAR,SCOCAV,etal.
Definingandguaranteeingdynamicservicelevelsinclouds[J].
FutureGenerationComputerSystems,2019,99:27-40.
[3]TORQUATOM,UMESHIM,MACIELP.
ModelsforavailabilityandpowerconsumptionevaluationofaprivatecloudwithVMMrejuvenationenabledbyVMlivemigration[J].
TheJournalofSupercomputing,2018,74(9):4817-4841.
[4]THAKKARR,TRIVEDIR,BHAVSARM.
ExperimentingwithenergyefficientVMmigrationinIaaScloud:movingtowardsgreencloud[C]//Proceedingsofthe2017InternationalConferenceonFutureInternetTechnologiesandTrends,LNICST220.
Cham:Springer,2017:56-65.
[5]JINH,LIZ,ZOUD,etal.
DSEOM:aframeworkfordynamicsecurityevaluationandoptimizationofMTDincontainer-basedcloud[J].
IEEETransactionsonDependableSecureComputing,2019(EarlyAccess):1-1.
[6]SEBASTIOS,GHOSHR,MUKHERJEET.
Anavailabilityanalysisapproachfordeploymentconfigurationsofcontainers[J].
IEEETransactionsonServicesComputing,2017(EarlyAccess):1-1.
[7]KHAZAEIH,MIIJ,MIIVB.
Performanceanalysisofcloudcentersunderburstarrivalsandtotalrejectionpolicy[C]//Proceedingsofthe2011IEEEGlobalTelecommunicationsConference.
Piscataway:IEEE,2011:1-6.
[8]LVS,HILLSTONJ,PIHOP,etal.
Anattribute-basedavailabilitymodelforlargescaleIaaScloudswithCARMA[J].
IEEETransactionsonParallelandDistributedSystems,2020,31(3):733-748.
[9]CHANGX,XIAR,MUPPALAJK,etal.
EffectivemodelingapproachforIaaSdatacenterperformanceanalysisunderheterogeneousworkload[J].
IEEETransactionsonCloudComputing,2018,6(4):991-1003.
[10]ATAIEN,ENTEZARI-MALEKIR,RASHIDIL,etal.
Hierarchicalstochasticmodelsforperformance,availability,andpowerconsumptionanalysisofIaaSclouds[J].
IEEETransactionsonCloudComputing,2019,7(4):1039-1056.
[11]CARVALHOM,MENASCDA,BRASILEIROF.
CapacityplanningforIaaScloudprovidersofferingmultipleserviceclasses[J].
FutureGenerationComputerSystems,2017,77:97-111.
[12]LIUB,CHANGX,HANZ,etal.
Model-basedsensitivityanalysisofIaaScloudavailability[J].
FutureGenerationComputerSystems,2018,83:1-13.
[13]LUOL,MENGS,QIUX,etal.
Improvingfailuretoleranceinlarge-scalecloudcomputingsystems[J].
IEEETransactionsonReliability,2019,68(2):620-632.
[14]GHOSHR,LONGOF,FRATTINIF,etal.
ScalableanalyticsforIaaScloudavailability[J].
IEEETransactionsonCloudComputing,2014,2(1):57-70.
[15]HUANGY,KINTALAC,KOLETTISN,etal.
Softwarerejuvenation:analysis,moduleandapplications[C]//Proceedingsofthe25thInternationalSymposiumonFault-TolerantComputing.
Piscataway:IEEE,1995:381-390.
ThisworkispartiallysupportedbytheNationalNaturalScienceFoundationofChina(6187060169).
YANGShenshen,bornin1984,M.
S.
,engineer.
Herresearchinterestsincludenetworksecurity,randomdataprocessingWUHuizhen,bornin1980,M.
S.
,lecturer.
HerresearchinterestsincludebusinessEnglishteaching,appliedtranslation.
ZHUANGLili,bornin1982,M.
S.
,lecturer.
Herresearchinterestsincludeuniversityarchivesmanagement,informationsecurity.
LYUHongwu,bornin1983,Ph.
D.
,associateprofessor.
Hisresearchinterestsincludecloudcomputingavailability,networksecurity.
3018www.
joca.
cn