软件性能测试工具

1中国科学院软件研究所杰出青年人才发展专项计划年度进展报告书(2012年度)姓名钟华课题名称面向可信和服务质量的中间件平台模型及关键技术资助金额175万课题起止时间2009.
08~2013.
08资助类别应用研究所在部门软件工程技术研发中心研究工作主要进展和阶段性成果(含论文、研究生培养等)本年度的研究内容包括:网构软件中间件服务动态协同配置机制研究;网构软件中间件部署单元动态迁移机制研究;网构软件中间件监控管理工具研发;面向特定领域的网构软件中间件可信与服务质量保障测试规范研究;本年度研究成果包括:获军队科技进步二等奖一项(排名第9)在国内核心学术刊物和国际会议上发表相关论文14篇,其中SCI/EI收录11篇.
赴土耳其参加COMPSAC2012国际会议,在上海参加IPDPS2012国际会议,邀请OhioStateUniversity的秦锋助理教授来中心为期一个月的交流访问.
获得专利授权3项,申请2项,软件著作权4项.
文章列表:1.
ZhezheChen,XinyuLi,Jau-YuanChen,HuaZhong,FengQin,SyncChecker:DetectingSynchronizationErrorsBetweenMPIApplicationsandLibraries,InProceedingsofthe26thIEEEInternationalParallel&DistributedProcessingSymposium(IPDPS),May21-25,2012,Shanghai,China.
2.
YaoSun,JieLiu,DanYe,HuaZhong,AFrameworktoEnableWeb2ApplicationsWorkOfflineinChallengedNetworkEnvironments,InProceedingsofthe6thInternationalConferenceI-ESAonInteroperabilityforEnterpriseSystemsandApplications.
Volume5,2012,pp.
227-236.
3.
WenboZhang,XiangHuang,NingjiangChen,WeiWang,HuaZhong,PaaS-OrientedPerformanceModelingforCloudComputing,InProceedingsoftheThe36thAnnualIEEEComputerSoftwareandApplicationsConference(COMPSAC2012)Izmir,Turkey,16-20,July,2012.
pp.
395-404.
4.
TaoWang,WenboZhang,JunWei,HuaZhong,Workload-AwareOnlineAnomalyDetectioninEnterpriseApplicationswithLocalOutlierFactor,InProceedingsofthe36thAnnualIEEEComputerSoftwareandApplicationsConference(COMPSAC2012)Izmir,Turkey,16-20,July,2012.
pp.
25-34.
5.
TaoWang,WenboZhang,JunWei,HuaZhong,OnlineAnomalyDetectionforComponentsinOSGi-basedSoftware,InProceedingsofthe2012InternationalConferenceonSoftwareEngineeringandKnowledgeEngineering(SEKE2012).
page188-193.
6.
WeiChen,XiaoqiangQiao,JunWei,TaoHuang,AProfit-awareVirtualMachineDeploymentOptimizationFrameworkforCloudPlatformProviders,InProceedingsofthe2012IEEEFifthInternationalConferenceonCloudComputing,24–29June2012Honolulu,Hawaii,USA,pp.
17-24.
7.
TaoWang,JunWei,WenboZhang,HuaZhong,AFrameworkforDetectingAnomalousServicesinOSGi-basedApplications,InProceedingsofthe9thInternationalConferenceonServiceComputing.
pp.
250-257.
8.
WeiWang,XiangHuang,XiuleiQin,WenboZhang,JunWei,HuaZhong.
Application-levelCPUConsumptionEstimation:Towards3PerformanceIsolationofMulti-tenancyWebApplications.
2012IEEEFifthInternationalConferenceonCloudComputing.
24–29June2012Honolulu,Hawaii,USA,pp.
439-446.
9.
WenboZhang,XiangHuang,NingjiangChen,XiuleiQin,HuaZhong.
Dynamicmodelingofelasticcachingplatformsforcachestrategyreconfiguration.
JournalofInformation&Computational2012.
VOL.
8(22):9299-9314.
10.
詹孟粮,马志柔,钟华,王鹏.
一种高可靠性的组播树恢复方法.
计算机应用与软件,2012,29(2):86-89.
11.
高蕾,杨燕,钟华,于谨维.
面向多租户的门户资源管理框架.
计算机工程与设计.
2012.
VOL.
33(8):3016-3022.
12.
王焘,魏峻,张文博,钟华.
基于负载模式识别的Web应用在线异常检测方法.
软件学报,2012.
VOL.
23(10):2705-2719.
13.
朱鑫,蒲卫,秦秀磊,张文博,钟华,上下文感知的分布式缓存数据重均衡方法,计算机工程与设计,2012.
VOL.
6(2):14.
秦秀磊,张文博,魏峻,王伟,钟华,黄涛,云计算环境下分布式缓存技术的现状与挑战,软件学报(已录用).
授权专利列表:1.
王焘;张文博;朱鑫;魏峻;钟华,基于OSGi的软件构件监测方法与系统,ZL201010523324.
5.
2.
王帅;屈夏;杨燕;钟华,一种基于J2EE的数据持久化方法及系统,ZL201010562533.
0.
3.
王伟;张文博;周欢云;魏峻;钟华;黄涛,一种面向Web应用宿主平台的资源供给方法,ZL201010578793.
7.
申请专利列表:1.
张文博;徐继伟;魏峻;钟华;黄涛,一种X86虚拟化条件下降低网络I/O操作CPU开销的系统,201210526670.
82.
窦文生;吴东尧;吴国全;魏峻;钟华;黄涛,一种事件驱动的高并发流程虚拟机实现方法,201210069336.
44软件著作权列表:1.
OnceDQ4Cloud基于云平台的数据质量控制中间件系统v1.
0,2012SR0118392.
OnceBPEL流程监控系统V2.
0,2012SR0225703.
OncePVM流程执行虚拟机系统V1.
0,2012SR0229284.
Web应用服务器部署描述文件自动生成软件V1.
0,2012SR022958本年度课题在如下方面的研究取得了进展:(1)网构软件中间件服务动态协同配置机制方面虚拟化环境下网构软件中间件服务协同配置技术.
该技术主要针对传统网构软件中间件协同配置"紧耦合"的现状无法满足虚拟化环境下动态协同配置的需求(例如,必须提前配置好网构软件应用服务器与网构软件数据库服务器之间的关联关系),实现了一种基于仲裁者的网构软件中间件服务动态协同配置的机制.
具体而言,本课题抽象和设计了网构软件仲裁者构件,用于负责部署时中间件配置冲突的一致性检测与自修复,以及运行时中间件之间关联关系的动态管理.
本技术为实现网构软件中间件在部署时和运行时的资源按需提供技术基础.

一种收益敏感的网构软件中间件服务动态配置技术.
该技术采用控制论的原理,首先将服务质量约束转换为网构软件在某一配置下的稳定周期期望,然后以此稳定周期期望作为网构软件中间件资源供给和重配置的依据.
具体而言,本课题将网构软件在新配置稳定周期内的服务质量保障及其保障程度描述为收益,将网构软件在完成配置过程中的耗时及其服务质量违约描述成成本.
本课题采用"归约法"原则将其转化为决策者投资问题,并设计与实现了一种基于"收益/成本"最大化的网构软件中间件服务资源自配置算法.
基于模型转换的平台相关应用配置模型的构造方法.
针对网构软件运行环境及应用的复杂性,及其带来的针对特定平台人工创建和维护配置模型的费时费力且易于出错的问题,课题组研究并提出了该方法.
首先,基于模式匹配(schemamatching)原理,充分考虑了应用配置文件及配置项在名称、数据类型、文件结构等方面的特点,采用综合相似度计算的方法来实现和建立应用系统标准部署描述规范中配置元素到平台相关部署描述规范中配置元素的映射和转换规则.
其5次,本方法以XSLT为转换规则的描述语言,基于模板实现针对特定平台部署描述规范的转换代码自动生成.
最后,以转换代码为指导实现应用系统在特定平台下平台相关配置描述文件的自动构造.
基于模型转化的平台相关部署描述文件构造本方法具有较高的正确性和准确率,同时大大提高了应用系统向特定平台迁移和部署时的自动化程度.
基于模型的应用部署约束生成与验证方法.
首先,该方法在大量分析和综合了应用案例后提出了包括唯一性约束、等价性约束、资源约束、兼容性约束、位置约束等在内的多类通用约束类型.
其次,针对各个约束类型定义了参数化的约束模板,基于相应的启发性规则建立了约束模板与部署模型中各类关联关系间的映射,并定义了模板参数实例化的条件与映射操作规则.
最后,基于网构软件的部署模型实例,本方法通过模型遍历,以约束模版和关联关系的映射为线索发现并实例化隐藏在该应用中的通用部署约束,然后转换为基于OCL语言的约束形式化描述并进行约束验证.
该方法能够提高网构软件部署约束验证的覆盖率,减少人为验证时对领域知识的要求以及造成的遗漏,大大提高设计阶段的部署方案的正确性.
(2)网构软件中间件部署单元动态迁移机制方面基于用户偏好的网构软件中间件部署单元动态迁移技术.
该技术首先采用日志分析的方法建模网构软件在传统环境下资源需求分布变化,然后根据用户偏好(例如网构软件中间件支持最小并发量)计算出网构软件中间件在虚拟化环境下资源需求的类型(例如虚拟机的配置,即CPU个数和内存大小)与数量.
具体而言,本课题采用离线测试的方法,以相同服务质量约束为目标计算出网构软件在传统环境与虚拟化环境下的资源需求比例,然后根据用户偏好和统计的方法,在资源需求分布变化图中快速定位出的资源供给点,并提供"一键部署"工具完成网构软件中间件部署单元的自动化迁移.
基于收益的网构软件应用平台资源动态重配方法.
随着虚拟化技术的引入和发展,虚拟化网构中间件平台逐步成为网构软件部署和运行的支撑环境.
在这样的环境下,以虚拟机为单元的应用或组件的部署、配置和迁移成为影响应用性能、用户体验和平台收益等的主要因素和手段之一.
本方法从平台提供方角度出发,6考虑虚拟机动态迁移和重配两种操作的特点及其应对的不同问题和场景,提出了考虑平台提供方收益的两个层次资源动态重配方法.
首先,该方法采用基于资源使用和应用负载预测的方法提出同一物理机上的多个虚拟机间的资源重配机制,该方法考虑到不同应用的负载变化情况,采用分时复用的策略实现资源在多个虚拟机间的动态重配.
其次,针对物理机过载的场景提出了基于二分图最大匹配的多虚拟机并行迁移策略,并分别提出了虚拟机选择启发规则和目标节点选择的启发规则,从而通过最小化多虚拟机的总体迁移时间来提高平台提供方收益.

(3)网构软件中间件监控管理工具方面网构软件通常由多层次和多节点所构成,如此巨大的规模和复杂的结构对运行时监控带来了巨大的挑战.
面向网构软件的监控管理工具需及时有效的获取、存储和分析网构软件各个层次的监测数据,以及时发现和定位问题出现的原因,从而达到避免网构软件失败的发生或减少由失败所带来的影响.
主要研究进展包括:基于代理的自动化监控技术.
网构软件的运行环境通常由基础设施、虚拟资源、业务支撑系统、应用服务以及业务流程等多个层次构成,节点规模达到数万到数百万个.
这将会导致不可承受的监控管理开销,本课题提出一种自动化监控技术,通过对各类节点部署代理同时进行监控,自动完成日常监控任务.
该技术能够应对以指数级增加的数据量,同时,搜集从不同时间、不同地点、不同层次监测得到的各种数据.
基于全局关联的监测数据分析技术.
本课题利用统计学习技术建立监测数据之间的关联关系,以在线评价系统的健康状况,检测异常现象并诊断问题出现的原因.
网构软件环境分为物理资源,虚拟资源和应用逻辑等多个层次,这些层次都有孤立的监控系统.
这就需要各层次间进行更好的协作以建立各个层次间的关联信息.
监控系统需要能够扩展到多个层次,而展现给用户的是统一的抽象.
同时,需要考虑到,在各个层次可能发生的资源共享.
负载感知的瓶颈资源定位技术.
网构软件环境中部署大量异构应用,这些应用提供各种服务,其负载也具有多样性,这就为检测性能异常,定7位瓶颈资源带来了挑战.
本课题考虑到负载对网构软件性能的影响,利用关联分析自动建立起负载与性能的关联模型以刻画二者在正常状态下的关联性.
通过监测关联系数的变化趋势以检测性能异常的发生,利用特征选择的方法通过分析异常发生前后度量的变化,以定位引起性能瓶颈的资源.
该方法无需领域知识对应用分别进行建模,具有较小的开销,适应大规模、异构、复杂的网构软件部署环境的需要.
实现的监控管理工具包括:网构软件中间件类型感知工具.
该工具具有根据网构软件中间件资源消耗特点,快速识别中间件类型,并根据中间件类型重点监测其敏感资源的特点.
主要包括:对于分布时缓存中间件,重点监测其内存使用率和更新率;对于数据库中间件,重点监测其磁盘使用率和磁盘读写率两个指标;网构软件中间件性能监测、分析和预警工具.
该工具具有监测网构软件中间件性能是否偏离用户期望的能力,并根据网构软件中间件类型和当前监测结果给出网构软件中间件如何调整的建议.
(4)面向特定领域的网构软件中间件可信与服务质量保障测试方面针对网构软件应用的可信与服务质量保障需求,在面向服务质量的网构软件中间件测试技术与基准、服务化的网构软件性能测试技术等方面取得突破.

传统测试基准采用封闭的负载生成模型、简单的用户行为模拟和以服务端为中心的度量指标,难以有效衡量网构软件中间件服务质量保障能力.
在封闭的负载生成模型中,不同用户的会话之间相互依赖,无法控制用户会话的发起时机,新的用户会话的发起取决于待测系统的表现及网络延迟情况,无法体现开放Internet环境下的负载高可变性,难以模拟真正的系统过载环境.
简单的用户行为模拟仅模拟用户与系统交互的思考时间,忽略了用户对服务质量的感受,而真实的用户不可能无限期的等待一个请求.
用户在一定时间内没有收到响应可能会重试或者直接关闭连接,并且对于不同类型的服务,延迟容忍的时间也会有所不同.
以服务端为中心的度量指标(如吞吐率)仅仅反映系统峰值性能,无法真实反映系统的服务质量.
8针对上述问题,课题组研究了面向服务质量的网构软件中间件测试技术与基准,提出基于会话的、可控的负载生成技术,打破传统负载模拟的会话依赖模式,更真实地模拟大规模、复杂模式;提出服务质量敏感的用户行为模型,模拟用户在请求不同重要程度的服务时所体现的不同的延迟容忍特征,增强用户行为对服务质量的敏感性;提出面向服务质量的网构软件中间件基准测试方法,提供基于会话的度量指标以及服务器端资源监测,度量基准关注业务收益,从多方面评测电子商务平台的性能,可有效识别传统基准测试易出现的"伪高效"现象.

课题组形成《电子商务性能测试规范》、《交易中间件性能测试规范》等2项国标草案.
研发了性能测试工具Bench4Q,通过自助式的性能测试门户界面提供服务化的性能测试功能,支持在线录制和编辑测试负载脚本,可以生成多租户负载,支持在线配置系统负载规模、在线监测性能度量和测试目标状态、在线生成测试报告.
Bench4Q作为开源软件项目,发布在全球四大开源组织之一的OW2社区(http://forge.
ow2.
org/projects/jaspte),累计下载量超过4千,获2011年、2012年OW2国际程序竞赛一等奖(1名)、二等奖,团队成员受邀参加在法国、中国等地举办的OW2技术研讨会并做报告.
Bench4Q工具已经在一系列国家重大专项测试任务和企业产品测试中得到应用,包括中国软件评测中心执行的核高基项目验收测试任务,软件与集成电路促进中心执行的核高基技术成果评测任务,中软执行的核高基技术攻关测试任务,东方通、金蝶、中创等国产中间件厂商的Web应用服务器产品测试,以及IBM中国研究院的IBMWebSphereeXtremeScale中间件产品测试等,满足了重大专项课题以及中间件企业在产品验证和应用实施过程中的评测需求.
下一年度工作计划,包括国内外合作与交流计划9下一年度研究内容包括:2013年1月~2013年6月面向可信与服务质量的网构软件中间件平台研制;2013年4月~2013年6月面向特定领域的网构软件中间件可信与服务质量保障测试规范参考实现研发;2013年7月~2013年8月准备课题验收材料.
国际合作交流安排如下:参加高水平国际会议1次.
邀请访问学者来访1-2次.
年度经费使用情况概要本年度使用经费28.
50万元,主要用于资料费、会议费、差旅费等.
研发所需的设备费、文献知识产权、劳务费等在相关的其他科研项目中进行了支出.