负载长春虚拟主机

1中国科学院软件研究所杰出青年人才发展专项计划年度进展报告书(2011年度)姓名钟华课题名称面向可信和服务质量的中间件平台模型及关键技术资助金额175万课题起止时间2009.
08~2013.
07资助类别应用基础研究所在部门软件工程技术研发中心研究工作主要进展和阶段性成果(含论文、研究生培养等)课题从基于网络的复杂软件的可信和服务质量等目标着手,研究网构软件中间件平台伺服模型、平台支撑机制和技术,以及开发方法与工具,课题的研究路线如下图所示:图1网构软件支撑平台研究内容本年度的具体研究进展如下:(1)网构软件中间件动态建模技术网构软件是一类开放、动态和难控的软件形态,它的性能受到多个方面的影响,包括用户的使用、应用的实现、资源管理与调度的方式,以及底层硬件资源的计算能力.
同时,网构软件对软件的质量以及资源的充分利用提出了新的要求.
因而,如何在多变环境下,持续保障系统性能,按需供给资源,就成了一个研究重点.
本研究旨在网构软件及其运行平台构造一个可控的仿真环境,定量分析各种影响因素及资源配置策略对系统带来的影响,诊断分析性能瓶颈的原因,搜索最优的资源配置方案.
性能模型需要获得运行时影响应用性能的若干属性,但是在应用运行时难2以获得相关属性,传统的建模方法大多依据模型设计人员的经验或者在测试环境中获取这些属性.
这类方法的主要弊端是难以真实反映应用实际运行特征,并且也不能满足网构软件开放、动态的需求.
针对上述问题,本研究重点研究如何在运行时,通过分析系统日志信息,动态构造性能模型.
可分为应用组件、中间件容器和物理资源消耗三个层次.
在应用组件层主要研究如何获取"执行流程","请求类型"和"参数依赖"这三个与应用组件逻辑相关的性能要素;在中间件容器层主要研究如何获取与中间件平台相关的"逻辑资源"和"内部状态",并与应用层性能要素结合,形成与平台相关的应用模型;最后分析各组件的"物理消耗",本文主要关注CPU资源的消耗情况.
最终,将形成一个与应用和具体部署和配置环境相关性能模型.
(2)网构软件中间件极限事务处理网构化软件的用户规模呈现出动态、开放、不可预计等特性,许多企业或组织时常会面对"极限"场景的应用需求:百万级的并发用户访问、每秒处理数以千计的并发事务、灵活的弹性与可伸缩性、低延时及7*24*365可用性等.
此类应用被称为极限事务处理型应用.
以互联网企业Twitter为例,Twitter每秒接受近40,000次用户请求,处理超过4M的用户数据,注册用户数超过1,000,000.
Gartner将极限事务处理定义为一种应用模式,旨在对事务型应用的开发、部署、管理和维护提供支持,特别是对性能、可扩展性、可用性、可管理性等方面的极限需求.
Wikipedia认为极限事务处理是每秒多于500次事务或大于10,000并发访问的事务处理.
Gartner在其技术报告中指出,极限事务处理型应用的规模已由2005年的10%提升到2010年的20%,极限事务处理技术是未来5-10年的热点技术.
极限事务处理技术已成为大型金融、电信、零售类企业应用以及社交网站的核心技术.
传统基于层次的应用引擎架构(分为展现层、业务逻辑层、数据层)主要利用集群技术进行扩展,难以达到线性扩展效果,无法满足极限事务处理场景的需要,具体体现为以下几点:1)每层都由1个集群组成,各层具有异构的集群模型和H/A模型,难于统一监控、管理和部署;2)集群同步及层间交互开销大,网络易成为主要瓶颈;3)高可用/高可靠实现机制复杂;4)各层独立购买授权(licence),实施成本高.
极限事务处理的需求决定了我们需要提供具有如下特3点的新型应用引擎:1)低延时;2)线性可扩展;3)高可用高可靠;4)易于维护和管理.
打破旧有的层次架构,建立适用于极限事务处理的新型应用引擎架构,成为该领域发展的主要趋势.
例如,GigaspacesXAP将业务逻辑、消息与数据组合为一个高内聚的处理单元(processingunit),处理单元成为集群管理和伸缩的基本要素,提供线性扩展的事务处理能力且易于维护;所有事务/计算处理均在内存中执行,最大限度的降低了层间通讯开销,提高了事务处理的效率;高可用高可靠的实现以处理单元为粒度,实现机制简单.
(3)获益驱动的网构软件中间件资源管理技术Web系统QoS保障是学术界研究的热点.
随着虚拟化技术的发展和云计算的兴起,虚拟机(VirtualMachine)作为Web系统宿主运行环境逐渐成为一种典型架构模式,而基于虚拟机粒度的动态资源分配则成为保障Web系统QoS(QualityofService)的一种有效机制.
然而基于虚拟机的重配置操作具有多样性,包括容量控制、虚拟机复制和在线迁移三种;基于虚拟机的重配置具有耗时长并导致Web系统性能衰减的特点,表1描述了测试基础TPC-W执行在线迁移操作的性能衰减和耗时情况;虚拟机配置具有异构性,表2描述了AmazonEC2云平台提供的虚拟机资源配置类型.
上述特点使得当Web系统负载变化时,执行哪种资源重配置操作和选择哪种虚拟机配置资源才能同时达到最小化资源成本和保障Web系统QoS成为挑战.
针对资源成本和资源重配代价约束下的资源最优分配选择问题,特别针对已有成本敏感(Cost-aware)方法因忽略了Web系统在新配置下的稳定周期而导致在负载突变(FlashCrowds)模式下频繁违反QoS的不足,提出了一种收益敏感(Benefit-aware)的资源分配方法.
该方法首先将Web系统在新配置下的稳定周期描述成收益,因为计算能力的不足是最大社交网站Friendster衰落的重要原因之一,这说明Web系统在资源重配置过程中付出代价的同时也隐含着潜在的收益;然后将Web系统重配置操作引起的资源成本的变化描述成设施成本,将Web系统重配置操作引起的Web系统性能衰减并违反QoS约束描述成操作成本,并根据加权原则将设施成本和操作成本描述成Web系统执行某资源重配置操作的总成本;最后根据将"收益/总成本"最大化原则作为资源最优分配的判定标准.

4基于收益敏感(Benefit-aware)的资源分配方法主要包括负载监测、负载预测、资源规划和资源调整4个功能模块和性能模型、性能衰减模型2个模型.
Web系统的用于估算当前负载下的响应时间;Web系统性能衰减模型用于估算当Web系统在某负载下执行指定资源重配置操作过程的相应时间变化.
当Web系统对外提供服务的过程中,负载监测模块周期性的检测Web系统当前负载;当负载超出期望负载波动范围时,采用负载预测模块预测新的期望负载范围;资源规划模块首先将期望负载输入到性能模型,并将估算的响应时间与QoS约束作对比,当QoS不满足时,资源规划模块会评估每种资源重配置操作的耗时及其导致的性能衰减情况,然后根据将"收益/总成本"最大化原则进行资源分配决策;资源调整模块将资源规划模块决策结果作用到Web系统的运行载体虚拟机上.
本方法针对Web系统具有多层架构的客观事实,采用LQN性能模型作为Web系统的性能模型,LQN模型具有刻画Web系统不同组件服务时间和等待队列的能力,并能根据队列长度估算出Web系统在某一负载下的响应时间;Web系统性能衰减模型采用性能衰减表来描述,通过离线对Web系统不同组件在典型负载下执行不同资源重配置操作的方式,将资源重配置操作过程中响应时间的变化记录到性能衰减表,并根据负载近似匹配原则估算Web系统在某负载下执行指定资源重配置操作的响应时间变化;基于ARMA模型来预测某种负载的有效周期,Web系统负载具有相关性、时变性、随机性、平稳性,可以看作是平稳的随机序列,而ARMA模型则是描述平稳随机序列的最常用的一种模型;收益函数与Web系统在新配置下的稳定周期及其在稳定周期的单位收益有关,用于刻画Web系统执行某资源重配置操作后租户的满意程度.
(4)网构软件中间件多租户支撑技术Internet的开放性导致网构化软件的用户负载规模难以预计,80%用户日常访问规模往往远低于峰值规模,这些用户组成了数量庞大的"长尾用户".
为满足"长尾用户"的服务需求而配备独立的基础设施,已经造成了极大的能源、设施的浪费,并带来巨大的维护成本,因此产生了多租户共享的应用系统和服务模式.

多租户(multi-tenancy)将来自不同组织(租户)的并发用户共享同一基础设施资源,有利于成本降低和收益提高.
目前存在四种典型的多租户模式:硬件级共享,操作系统级共享,中间件级5共享以及应用级共享.
应用级共享的多租户模式提供了更高程度的基础设施共享,性能开销更低,可以承载更多的租户,即租户扩展性更高,因此是一种高效能的多租户模式,已成为下一代企业计算的发展方向.
然而,开放环境下的租户难以完全信赖,即使同一组织内部、相互信赖的多个租户,仍有可能由于误操作或过载而导致个别租户侵占大量资源,进而影响其它租户的访问性能,需要通过性能隔离(PerformanceIsolation)技术来避免此类性能干扰(PerformanceInterference)现象.
解决这一问题,仍面临诸多技术挑战.
首先,下一代的企业计算设施面临细粒度的应用级资源管理需求.
租户性能的隔离取决于租户资源的隔离.
在已有工作中,一些基于事件驱动的资源管理模型被提出,其中的代表工作是基于阶段的事件处理架构SEDA.
由于采用白盒式的资源管理架构,SEDA支持细粒度的应用级资源管理.
但是,此类资源管理模型但并不适用于典型的、基于多层架构的事务型应用,这是因为此类应用的事务处理过程涉及的应用组件或服务调用仍以同步调用为主,而采用事件驱动的架构需重构交互机制,代价巨大.
另外,实现租户性能隔离的关键是控制租户对系统资源的使用,避免个别租户侵占过多资源.
对于应用级共享的多租户模式而言,性能干扰将导致所有租户性能下降,因此,难以通过租户的性能表象(如响应时间)检测个别租户的资源侵占行为,需要在线获取并分析不同租户的资源使用情况.
然而系统资源的在线度量,尤其是CPU资源的在线度量,仍存在技术挑战.
针对上述问题,课题组提出一种细粒度的应用级资源管理模型(Application-levelResourceManagementModel,简称ARMM),依据多租户应用的上下文信息构造事务处理链,对并发事务处理进行租户区分和阶段划分,并基于信号量机制给出了ARMM模型的并发控制算法,在一次事务处理的各阶段实现线程复用,避免已有方法易产生的交互协议重构问题.
上述工作为进一步实现租户性能隔离提供细粒度的操控行为.
接着,课题组针对租户资源使用情况的在线获取问题,提出一种基于统计分析的CPU资源在线评估方法.
方法基于生产环境中常用的监测数据,利用Kalman滤波在线评估多租户的CPU资源使用情况,具有无性能开销、非侵入和操作系统独立等优点.
实验结果表明,方法可动态适应持续变化的负载环境,并且降低了事6务型负载普遍存在的多元共线性现象的影响,与直接度量方法相比,具有可接受的评估误差.
上述工作为租户性能隔离提供了依据.
(5)基于负载模式识别的异常诊断方法以JEE应用为代表的事务型Web系统已经成为网络服务主要的提供方式.
然而,面对复杂、难控的Internet环境,以及Web系统本身的复杂性,特定环境下出现的上下文异常难以避免,例如,某个请求引发未经测试的内存泄露,或是在某种访问序列下并发线程竞争共享资源造成的死锁等.
这些异常往往会在一段时间后引发系统失效,而可能引起巨大的经济损失.
据TellmeNetworks报告指出,失效恢复时间的75%用在检测错误,18%用在诊断错误.
另有研究表明,早期检测到失败能够缓解或阻止65%的错误发生.
因此,Web系统的异常检测是消除或缓解服务失效的有效手段,对于提高网络服务质量非常关键.
然而,已有的Web系统的在线异常诊断方法还难以适应开放的Internet环境.
工业产品中通常采用基于规则的方法通过设置各度量的阈值,当监测的度量超出阈值时根据规则执行预定动作,如IBMTivoli、HPOpenView、EMCSmarts等,但是,系统度量数量繁多,人工设置困难.
学术界采用的典型方法是建立一个模型刻画系统状态,当检测与预期状态发生偏差则认为可能有错误出现.
现有的方法利用特定的分析形式,如线性,建立度量间关联关系.
但度量间存在各种关系难于用统一的模型刻画,同时,负载的变化使得建立的关联关系改变.