测试世博安保系统-性能测试报告

享受敏捷乐趣

上海世博会安保系统

性能测试报告

51Testing软件测试网

2010年3月

Copyright©2010WWWAgi leJoyCOMAl lRightsReserved 1

享受敏捷乐趣

目录

1 性能测试结果. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.1 性能测试目标. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.2 性能测试总体结果. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.2.1性能评估等级分布图. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.2.2性能测试结果描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

2 系统测试摘要. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1 总体测试方案. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1.1世博安保系统简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1.2性能测试目的. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1.3脚本开发方案. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1.4场景设置方案. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1.5指标监控及分析方案. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

2.2 测试范围. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

2.3 测试脚本. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.4安保系统软硬件环境. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.5安保系统架构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

3 测试结果分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.1 关键测试数据汇兑. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.1.1服务器参数及监控项目. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.1.2事务响应时间. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.1.3服务器吞吐量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.1.1每分钟事务处理数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.2 响应时间细分. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.2.1 Web Service接口单独测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.3 服务器稳定性测试分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

3.3.1 Weblogic线程池状态. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

3.3.2 Weblogic服务器资源使用率. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

3.3.3 RadWare瓶颈. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

3.4 改善建议. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3.4.1图片与JS文件过大. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3.4.2正式服务器参数设置. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3.4.3 RadWare瓶颈. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

3.4.4 Oracle数据库异常. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

4 总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

5 附世博安保系统截图. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

Copyright©2010WWWAgi leJoyCOMAl lRightsReserved 2

享受敏捷乐趣

1 性能测试结果

1 . 1性能测试目标

上海博为峰公司作为XXX的测试服务提供商使用性能测试工具对XXX的各主要系统进行性能评估积累了较为丰富的测试经验。本次性能测试服务主要针对即将上线的世博安保系统进行性能评估主要包括如下四个方面

1 )对即将上线的世博安保系统(简称“安保系统” )进行整体性能评估。

2) 在多用户多请求的情况下评估应用服务器的稳定性和处理能力。

3) 测试与上海公安系统提供的Web Services接口评估处理时间在网络与本地服务器的消耗。

4) 根据测试结果与监控数据提供改善或预防建议。

1 .2性能测试总体结果

1 .2. 1性能评估等级分布图

1 .2.2性能测试结果描述

根据对响应时间 网络吞吐量事务成功率应用服务器线程池及输出日志的监控得出如下结论

1 ) 根据调研得知系统的用户数为2000那么系统的并发用户数在200左右本次测试取200用户作为

Copyright©2010WWWAgi leJoyCOMAl lRightsReserved 3

享受敏捷乐趣

评估系统的响应时间等指标的负载量。

2) 在200并发用户下综合运行各个功能时系统平均响应时间为 5秒事务处理成功率为 99.99%每分钟事务处理量为 770笔评估结果为“合格”。

3)基于风险考虑本次测试也同时评估在500并发用户下系统的稳定性及事务的成功率测试结果为Webloigc系统能稳定处理无特殊异常评估结果为“合格”。

4)对于“道口人员核查”功能模块测试结果合格在200并发用户下其响应时间为 1秒钟。

5) 得力于3台Weblogic集群服务器架构有效实现负载均衡系统正常响应线程回收及时 内存回收的频率也很平衡未发现内存泄漏问题。

6) Weblogic服务器端的平均CPU使用率在20% 内存占用率始终保持在1 .5G不存在瓶颈。7) 单独测试调用上海服务器的Web Services接口时在200并发用户下其响应时间为6秒 90%均消耗在上海服务器处理上而仅有10%消耗在网络传输上。而通过使用XXX本地服务器调用WebServices接口时耗时在10秒 由此可知整个与上海的传输过程中40%花在了本地处理 60%花在网络传输与上海服务器处理上。

8) 有两个JavaScript文件(DM_ZZJG.j,DM_XZQH.js)和一张图片(login_shab.jpg)较大较占用带宽资源。9) 在测试500并发用户时 RadWare负载均衡器CPU使用率一度达到96%用户数也接近100000存在瓶颈。

详细分析结果请查看本报告第3章。

Copyright©2010WWWAgi leJoyCOMAl lRightsReserved 4

享受敏捷乐趣

2系统测试摘要

2. 1总体测试方案

2. 1 . 1世博安保系统简介

安保系统主要用于上海世博期间入沪车辆的通行证办理主要提供对个人单位的个人身份信息及车辆信息进行核查审批并将数据传送到上海专用服务器。

2. 1 .2性能测试目的

本次测试主要目标是使用业内领先的性能测试软件产品LoadRunner对安保系统进行性能测试。通过对应用服务器Weblogic8.1的监控和对LoadRunner测试结果进行仔细分析评估系统的性能稳定性和处理能力并根据分析结果提供改善建议。

2. 1 .3脚本开发方案

1 ) 安保系统基于标准HTTP协议的JSP页面和标准SOAP协议的WebServices两种协议进行构建。

2) 使用固定思考时间模拟真实的用户操作行为经过调查设置思考时间为3秒钟道口检查的思考时

间为1秒钟。

3) 以下数据需要参数化车牌号码身份证号码人员姓名单位名称单位代码。

4) 由于真实的用户将使用浏览器缓存所以脚本中的关于GET请求打开某个页面的操作将不测试将重

点关注在POST请求提交数据到服务器处理方面。

5) 使用web_reg_find函数来进行事务结束状态的判断而不使用LR_AUTO自动判断状态。

6) 使用LoadRunner自带的对WebService接口的调用功能来开发WebService接口测试脚本。

2. 1 .4场景设置方案

1 ) 根据调研得知系统的用户数为2000按照业界经验取10%作为并发用户测试即可本次测试取200

并发用户来评估系统的整体性能。

Copyright©2010WWWAgi leJoyCOMAl lRightsReserved 5

享受敏捷乐趣

2) 为了评估服务器的处理性能稳定性和峰值处理能力取500并发用户来进行评估。

3) Ramp Up的设置策略a) 对于200用户的单模块测试 Ramp Up设置为10用户/10秒b) 对于500用户的单模块测试 Ramp Up设置为20用户/10秒c) 对于200用户的多模块整体性测试 Ramp Up设置为5用户/20秒

4) 持续时间的设置策略a) 对于整体性能评估测试时间设置为20分钟b) 对于稳定性和单模块测试评估测试时间设置为10分钟

5) 由于负载均衡器使用客户端IP地址来分配负载到Weblogic服务器所以测试时需要使用IP欺骗并为负载机绑定15个IP地址用以平均分配到3个节点上。

2. 1 .5指标监控及分析方案

1 ) 使用LoadRunner自带的监控数据进行分析包括响应时间每秒事务数事务成功率每秒请求数吞吐量。

2) 使用LoadRunner的Web页面诊断工具来分析页面详细情况和响应时间的详细消耗。

3) 使用Weblogic控制台监控Weblogic的线程使用情况和内存回收情况。并查看Weblogic日志输出检查是否有异常发生。

4) 使用Windows的任务管理器查看服务器的CPU使用率和内存使用率。

5) 使用HttpWatch进行抽样检查检查服务器在高负载时手工访问系统的处理时间并且使用HttpW atch对Web页面前端进行问题查找提出改善建议。

2.2测试范围

安保系统本身功能模块较少主要包括两个大的功能一是在将数据传入上海服务器处理之前在本地先对人员信息进行核查(需要在XXX的服务器上做数据比对等处理)二是如果人员满足入沪要求则将该人员

Copyright©2010WWWAgi leJoyCOMAl lRightsReserved 6

享受敏捷乐趣

信息传输到上海服务器并获取车辆通行证。

本次测试将主要考察如下五大方面的内容

1 ) 用户登录功能

2) 个人信息和车牌核查及登记

3) 单位信息和车牌核查及登录

4)道口人员信息核查

5) 分析上海Web Services接口响应时间的分布情况(即多少时间消耗在本地多少时间消耗在网络)

2.3测试脚本

根据上面所述的主要功能,着重生成以下测试脚本并通过对系统的预测试来决定如何设置测试场景详细脚本及场景设置如下表所示

2.4安保系统软硬件环境

以下表格是本次测试的服务器配置

Copyright©2010WWWAgi leJoyCOMAl lRightsReserved 7

享受敏捷乐趣

2.5安保系统架构

世博安保系统当前系统架构为

Copyright©2010WWWAgi leJoyCOMAl lRightsReserved 8

享受敏捷乐趣

3测试结果分析

3. 1关键测试数据汇兑

3. 1 . 1服务器参数及监控项目

1 ) Weblog i c I P地址 xxx.xxx.xxx.xxx/yyy/zzz共3台

2) Weblogic核心参数 JVM堆大小 1G每台可用线程数 400

3) 监控项目a) Weblogic的剩余线程数排队队列数 JVM内存使用量后台处理日志b) LoadRunner和Weblogic的出错信息c) LoadRunner的平均响应时间(Average Transaction Response Time)和每秒事务处理量(Transaction Per Second)以及每个事务的详细数据d) 服务器CPU和内存使用率

3. 1 .2事务响应时间

Copyright©2010WWWAgi leJoyCOMAl lRightsReserved 9